35. 최소충분통계량과 보조통계량

1. 최소충분통계량
   1) 최소충분통계량이란?
   ${(1)}$ 하나의 분포에 대하여 충분통계량은 여러개가 존재할 수 있다. 
   
   -. 그러면, 전체 표본의 성질을 매우 잘 보존하면서도 요약의 수준이 높은 가장 최소의 충분통계량은 무엇인가? 
   
   -. 여기에 대하여, 다음의 사고실험을 계획해 볼 수 있다.
   
   

   어떤 분포에 대하여 충분통계량 $S(X)$가 존재한다고 하자. 그리고, 전지전능한 통계의 신이 이 분포의 모든 충분통계량 집합 $T'(X) = \{t(x;\theta) | \theta \in \Omega\}$를 제시했다고 하자. 만약, $S(X)$가 최소한의 충분통계량이라면, 우리는 다음의 꼴로 모든 $T'(X)$에 대하여 나타낼 수 있다. $$S(X) = u(T'(X))$$ 물론, 그 역은 성립하지 않는다.

   -. 만약, 위와같은 사고실험이 참이라면 충분통계량의 시각에서 S(X)는 모든 T'(X)에 대하여 충분통계량이라고 할 수 있다. 즉, 충분통계량의 충분통계량이다.
   
   -. 모든 충분통계량 T'(X)라는 조건 하에 진행한 사고실험이므로, S(X)는 그것이 최소한의 충분통계량임을 입증할 수 있다. 
   
   ${(2)}$ 다음과 같은 인수분해 형식으로 최소충분통계량을 정의할 수 있다.
   

   $[X_{1}, \dots, X_{n}]$ 를 pdf $f(X;\theta)$를 갖는 확률변수에서 추출한 확률표본이라 하고 $[Y_{1}, \dots, Y_{n}]$ 를 pdf $f(Y;\theta)$를 갖는 확률변수에서 추출한 확률표본이라 하자. 그리고,  각각의 확률표본들의 결합 pdf를 각각 $f_{x}(X_{i};\theta)$, $f_{y}(Y_{i};\theta)$ 라고 정의할 때, 다음이 성립하면 T(X)는 최소충분통계량이다. $\frac{f_{x}(X_{i};\theta)}{f_{y}(Y_{i};\theta)} = \frac{h(x)}{h(y)} if \ and \ only \ if \ T(X) = T(Y)$ 이 때, 우변은 $\theta$에 대하여 무관함에 주목하자

2. 보조통계량
   1) 보조통계량이란?
   ${(1})$ 우리가 관심을 갖고있는 모수가 $\theta$라고 하자, 
   -. 이 때, 모수 $\theta$에 전혀 의존하지 않고 분포를 설명하는, 충분통계량의 여집합을 보조통계량이라고 한다.
   -. 예를 들어, $N(\theta, 1)$ 이라는 분포에서 추출한 확률표본 $[X_{1}, \dots X_{n}]$의 표본 분산 $S^{2}$은 평균이라는 모수 $\theta$에 의존하지 않는다. 따라서 이 경우 $S^{2}$은 보조통계량이다.
   -. 보조통계량은 완비충분통계량(의 함수)와 확률적 독립성이 보장된다.
   
   2) 보조통계량의 종류
   
   ${(1)}$ 위치불변 통계량

   $X_{1}, dots X_{n}$에 대하여 $X_{i} = X_{i} = W_{i} + \theta$로 모델링 했다고 하자. 이 때, 어떤 함수 u(x)가 다음의 변환을 수행하는 함수라고 하자. $$u(X) = u(X_{1} + d, X_{2} + d, \dots, X_{n} + d) = u(X_{1}, \dots, X_{n})$$ 이 함수를 $X_{i}$에 대하여 적용하면 다음과 같은 관계를 도출해낼 수 있다. $u(W_{1} + \theta, \dots, W_{n} + \theta) = u(W_{1}, \dots,W_{n})$ 통계량 Z는 위치 모수 $\theta$에 의존하지 않는다. 이를 위치불변 통계량이라고 한다.

   위치불변 통계량의 예시 $max(W_{i} + \theta) = max(W_{i})$ $min(W_{i} + \theta) = min(W_{i})$

   ${(2)}$ 규모불변 통계량

   $X_{1}, dots X_{n}$에 대하여 $X_{i} = X_{i} = \theta W_{i} $로 모델링 했다고 하자. 이 때, 어떤 함수 u(x)가 다음의 변환을 수행하는 함수라고 하자. $$u(X) = u(cX_{1}, cX_{2}, \dots, cX_{n}) = u(X_{1}, \dots, X_{n})$$ 이 함수를 $X_{i}$에 대하여 적용하면 다음과 같은 관계를 도출해낼 수 있다. $u(\theta W_{1}, \dots, \theta W_{n}) = u(W_{1}, \dots,W_{n})$ 통계량 Z는 규모 모수 $\theta$에 의존 하지 않는다. 이를 규모불변 통계량이라고 한다.

   규모불변 통계량의 예시 $\frac{X_{1}}{X_{1} + X_{2}}$ $\frac{X_{1}^{2}}{\sum_{i=1}^{n}X_{i}}$ $\frac{min(W_{i})}{max(W_{i})}$

   
   ${(3)}$ 위치규모불변 통계량
   

   $X_{1}, dots X_{n}$에 대하여 $X_{i} = X_{i} = \theta_{1} W_{i} + \theta_{2} $로 모델링 했다고 하자. 이 때, 어떤 함수 u(x)가 다음의 변환을 수행하는 함수라고 하자. $$u(X) = u(cX_{1} + d, cX_{2} + d, \dots, cX_{n} + d) = u(X_{1}, \dots, X_{n})$$ 이 함수를 $X_{i}$에 대하여 적용하면 다음과 같은 관계를 도출해낼 수 있다. $u(\theta_{1} W_{1} + \theta_{2}, \dots, \theta_{1} W_{n} + \theta_{2}) = u(W_{1}, \dots,W_{n})$ 통계량 Z는 위치 모수 $\theta_{1}$과 규모 모수 $\theta_{2}$ 모두에 의존 하지 않는다. 이를 위치규모불변 통계량이라고 한다.

   규모불변 통계량의 예시 $\frac{\sum_{i=1}^{n} X_{i} - \overline{X}}{\sigma}$ $\frac{\sum_{i=1}^{n} (X_{i} - \overline{X})^{2}}{\sigma^{2}}$