34. 완비충분통계량

1.   완비성과 완비충분통계량
   
   1) 충분통계량은 왜 배우는 것인가?
   ${(1)}$ 충분통계량은 가장 좋은 불편추정량인 최소분산불편추정량(MVUE)과 밀접한 관계를 갖고 있다.
   
   -. 우리의 목표는 이제 충분통계량과 MVUE 사이를 잇는 가교를 발견하는 것이다.
   
   -. 이 가교는 ① 완비성 ② 최소 분산 추정량의 두개의 교각으로 이루어져 있다.
   
   -. 그리고, 두 교각을 세우면 마침내 다음과 같은 결론을 내릴 수 있다. 이는 밑에서 증명할 레만-쉐페 정리가 증명한다.

   완비성을 갖춘 충분통계량의 함수꼴로 표현된 불편추정량은 그 어떤 다른 불편추정량보다 분산이 작은 유일한 최소분산불편추정량(MVUE)이다.

   2) 완비성과 유일성
   
   ${(1)}$ 완비성 
   

   연속형 혹은 이산형 확률변수 Z가 모수 $\theta$와 확률변수 z를 다루는 함수들의 족(Family), 즉 $\{h(z;\theta) : \theta \in \Omega\}$의 원소중 하나인 함수를 pdf(pmf)로 갖고 있다고 하자. 이 때, 다음의 조건을 정의하자 $E[u(z)] = \int u(z)h(z;\theta)dx = 0$, (이 때 u(z)는 $\theta$에 의존하지 않음에 주의하자) 이 때, 위 조건을 만족하는 유일한 경우가 그 확률 자체가 0인 지점을 제외하고(즉, $h(z;\theta) = 0$) $u(z) = 0$ 일 것을 모든 점에서 요구한다면,  $\{h(z;\theta) : \theta \in \Omega\}$ 를 pdf(pmf)의 완비족(Complete Family)이라고 한다. 그리고, 그런 상태를 완비성 이라고 표현한다.

   -. 익숙치 않은 개념이 나오는데, 족(Family)라 함은 공통된 특성을 공유하는 집합이라고 볼 수 있다. 함수들의 족은 공통된 특성을 공유하는 함수들의 집합을 의미한다. 그리고, 그 원소중에 하나가 확률변수 Z의 pdf(pmf)로 실현된다.
   
   -. 그리고, 완비족이란 완비성을 갖춘 함수들의 집합을 의미한다.
   
   -. 완비성이 필요한 이유에 대해서는 뚜렷하게 정리된 내용들이 없기에, 밑은 본인이 스스로 생각한 완비성이 필요한 이유에 대한 가설이다.(물론, 어디까지나 가설이기에 이에 대한 반박은 언제나 환영이다)
   
   

   -.$\int u(z)h(x;\theta)dx = 0$를 $f(x;\theta)dx$라는 적분식을 벡터 $h(x;\theta)$들을 $u(z)$ 라는 스칼라로 선형결합하여 무한의 공간으로 일반화한($\int$) 것이라는 시각에서 살펴보자. -. 이 때, 선형대수에서 모든 벡터들이 선형독립일 조건은 벡터의 집합 A를 결합하는 스칼라들의 벡터 $a = [a_{1}, \dots, a_{n}]$가 영벡터일것을 요구한다. 이 경우, 모든 벡터들은 서로 독립인 선형 독립 상태라고 한다. -. $u(z) = 0$이라는 조건은, 역으로 말해 분포의 족을 구성하는 모든 함수 벡터 $[h(z;\theta)]$가 서로 선형 독립 상태임을 의미하며, 한 함수가 다른 함수의 선형 결합으로 표현될 수 없음을 의미한다. 즉, 모든 함수가 그 공간 내에서 유니크하다. -. 모든 함수가 유니크하다는 의미는 그 공간을 요소들이 구멍없이 빽빽히 채우고 있음을 의미한다. 이를 완비성이라고 표현하며, 구멍 없이 빽빽한 가운데서 가장 최소의 요소를 구할경우, 그 요소는 그 공간 전체에서 오직 유일한 최소의 요소임을 보장할 수 있다. 이것이 바로 완비성이 최소분산불편추정량을 구하는데 요구되는 이유이다.

   
    ${(2)}$ 유일성의 증명 : 레만-셰페 정리
   -. 앞서, 우리는 라오-블랙웰 정리에 따라 충분통계량의 함수꼴인 불편추정량은 분산이 가장 작은 불편추정량임을 라오-블랙웰 정리를 인용하여 보였다.
   
   -. 이제, 우리는 충분통계량의 함수꼴인 불편추정량이 완비성을 만족할경우 오직 하나만이 존재함(유일성)을 증명할 것이다. 이를 레만-셰페 정리라고 한다.
   
   

   $X_{1} \dots X_{n}$을 pdf(pmf) $f(x;\theta)$를 따르는 확률변수 X에서 추출한 확률표본이라 하자. 다음의 통계량을 정의하자 $Y_{1} = u(X_{1}, \dots, X_{n})$ 이때, $Y_{1}$엔 다음의 성질이 있다고 하자 ① $Y_{1}$은 $\theta$에 대한 충분통계량이다. ② $Y_{1}$이 속하는 함수의 족 $\{f_{y_{1}}(y_{1};\theta) : \theta \in \Omega\}$는 완비족이다. 만약, 다음의 함수가 존재한다고 하자 $E[\varphi(Y_{1})] = \theta$ 즉,$\varphi(Y_{1})$는 충분통계량 $Y_{1}$의 함수꼴인 불편추정량이다.   이 경우, 이 함수는 $\theta$에 대한 유일한 최소분산불편추정량(UMVE)이다.

   레만 셰페 정리는 다음과 같이 증명할 수 있다. $E(Y_{2}) = \theta$인 $Y_{2}$를 불편추정량이라고 할 때, $E(Y_{2}|Y_{1}) = \varphi(Y_{1})$는 라오-블랙웰 정리에 따라 $Y_{2}$보다 분산이 작은 우수 통계량이 된다. 이 때, 함수 $\varphi(Y_{1})$가 $\theta \in \Omega$인 모든점에서 다음을 만족한다고 하자 $E[\varphi(Y_{1})] = \theta$ 또한, $\varphi(Y_{1})$와는 같은 족(Family)이면서 겹치지 않는 어떤 임의의 함수 $\varnothing(Y_{1})$을 정의하자. $\varnothing(Y_{1})$ 또한 다음을 만족하는 형태로 함수꼴을 정의할 수 있다. $E[\varnothing(Y_{1})]=\theta$ 이제, 위 두 함수를 포함한 통계량 $Y_{1}$에 대한 족(Family)를 정의할 때  $\{f_{y_{1}}(y_{1};\theta) : \theta \in \Omega\}$ 가 위에서 정의한 완비족이라고 하자. 다음의 함수를 정의할 수 있다. $$u(Y_{1}) = \varphi(Y_{1}) - \varnothing(Y_{1})$$ 완비족의 정의에 따라 $E[u(Y_{1})] = E[\varphi(Y_{1}) -\varnothing(Y_{1})] = 0$ 를 만족하는 유일한 경우는  $u(Y_{1}) = \varphi(Y_{1}) -\varnothing(Y_{1}) = 0$ 일 때 뿐이다. 다시 말해, $\varphi(Y_{1})$이 아닌 다른 모든 불편추정량 $\varnothing(Y_{1})$에 대하여 다음이 성립한다. $\varphi(Y_{1})  = \varnothing(Y_{1})$ 즉, 우리는 다음의 진실을 얻을 수 있다. ① $\varphi(Y_{1})$은 라오-블랙웰 정리에 따라 다른 불편추정량들보다 항상 분산이 작은 통계량이다., ②$\varphi(Y_{1})  = \varnothing(Y_{1})$ 라는 결과에 따라 함수의 족이 완비족일때 충분통계량 $Y_{1}$을 갖는 함수는 오로지 $\varphi(Y_{1})$ 밖엔 없다. 첫 번째는 충분통계량의 함수꼴로 나타내어진 불편추정량은 다른 불편추정량들보다 분산이 항상 작으며, 두 번째는 충분통계량의 함수꼴로 나타내어진 불편추정량은 완비성이 충족될 때 오직 하나밖에 존재할수 없음을 의미한다. 따라서, 충분통계량의 함수꼴로 나타내어진 불편추정량은 유일한 최소분산불편추정량이 된다.

   
   ${(3)}$ 완비성과 유일성의 결론
   
   -. 최소분산불편추정량을 구하기 위하여, 우리는 다음의 추리게임을 하였다.

   질문	$\rightarrow$	Solution
   수많은 불편추정량 중 가장 분산이 작은 불편추정량은 무엇인가		라오-블랙웰 정리에 의해 충분통계량의 함수꼴인 불편추정량이다.
   가장 분산이 작은 불편추정량은 유일한가(즉, 오직 하나만이 존재하는가)?		레만-셰페 정리에 의해 완비성이 가정될경우 분산이 가장 작은 불편추정량은 유일하다.

   -. 즉, 추리 게임의 결론에 따라 우리는 ①완비성을 가지는 ②충분통계량의 함수꼴이 ③불편추정량인경우, 그것이 유일한 최소분산불편추정량(MVUE)이다 라는 결론을 마침내 내릴 수 있다.
   
   ${(4)}$ 완비충분통계량
   -. 완비충분통계량이란, ①완비성을 가지는 ②충분통계량의 함수꼴 을 만족하는 통계량을 나타내는 개념이다.
   
   -. ①과②의 개념을 통합하여 어떤 추정량이 유일한 최소분산불편추정량일 조건은 ①완비충분통계량의 함수꼴이 ②불편추정량일것 으로 통합할 수 있다.
   
   
2. 지수족과 최소분산불편추정량
   1) 지수족이란
   
   ${(1)}$ 지수족이란, pdf(혹은 pmf)의 족 $\{f(x; \theta) : \theta \in \Omega\}$에 대하여 다음의 형태로 표현 가능한 분포족을 의미한다.

   $f(x;\theta) = exp[p(\theta)k(x) + H(x) + q(\theta)]$

   
   ${(2)}$ 또한, 위의 형태를 보이는 분포족이 다음의 조건들을 만족하면 정칙지수류(족)라고 표현한다.

   $$f(x;\theta) = exp[p(\theta)k(x) + H(x) + q(\theta)]$$  ①X의 범위 S는 $\theta$에 의존하지 않는다. ②모든 $\theta \in \Omega$에 대하여, $p(\theta)$는 연속함수이다. ③ (X가 연속형 확률변수일떄) $\frac{\partial(k)}{\partial x} =neq 0$인 영역에서 $H(X)$는 연속함수이다. ④ (X가 이산형 확률변수일때) K(X)는 $X \in S$인 함수이다.

   
   ${(3)}$ 정칙지수류(족)의 성질
   -. 정칙지수류는 충분통계량을 갖는다.

   $X_{1}, \dots, X_{n}$을 정칙인 지수족 분포에서 추출한 확률표본이라고 하자 $X_{1}, \dots, X_{n}$의 결합 pdf(pmf)는 다음과 같이 나타낼 수 있다. $$f(x_{i};\theta) = exp[p(\theta)\sum_{i=1}^{n}K(x_{i}) + \sum_{i=1}^{n}H(x_{i}) + nq(\theta)]$$ 이 식을 정리하면 다음과 같이 나타낼 수도 있다. $$f(x_{i};\theta) = exp[p(\theta)\sum_{i=1}^{n}K(x_{i}) + nq(\theta)][\sum_{i=1}^{n}H(x_{i})$$ 네이만의 인수분해 정리에 따라, 다음은 충분통계량이다. $$\sum_{i=1}^{n}K(x_{i})$$

   -. 통계량 $Y_{1} = K(x_{i})$의 평균과 분산

   정칙지수류의 한 분포의 cdf를 정의하면 $$\int_{a}^{b} exp[p(\theta)k(x) + H(x) + q(\theta)]dx \\ = exp(q(\theta)) \int_{a}^{b}exp[p(\theta)k(x) + H(x)]dx = 1$$ cdf를 양변에 대하여 $\theta$로 미분하면 $$exp(q(\theta))p(\theta) \int_{a}^{b}k(x)exp[p(\theta)k(x) + H(x)]dx + q'(\theta)exp[q(\theta)]\int_{a}^{b}exp[p(\theta)k(x) + H(x)]dx = 0$$ 적분식을 우변으로 이항하고 정리하면 $$\frac{q'(\theta)\cdot exp([q(\theta)]}{p'(\theta)\cdot exp([q(\theta)]} = \frac{q'(\theta)}{p'(\theta)} \\= \frac{\int_{a}^{b}k(x)exp[p(\theta)k(x) + H(x)]dx}{\int_{a}^{b}exp[p(\theta)k(x) + H(x)]dx} = \frac{E[K(x)]}{1}$$ 이 때,$Y_{1} = k(x)$라고 할 때,  $$E(Y_{1}) = -n\frac{q'(\theta}{p'(\theta)}$$ 는 참이다.

   $E[k(x)]$를 한번 더 미분하면 $E[k(x)^{2}]$를 도출할 수 있다. $Var(Y_{1}) = E[k(x)^{2}] - E[k(x)]^{2}$를 구하면 $$Var(Y_{1}) = -n\frac{1}{p'(\theta)^{2}}[p''(\theta)q'(\theta) - q''(\theta)p'(\theta)]$$

   
   -. 정칙지수류는 완비충분통계량을 갖는다.

   위에서 충분성에 대해 증명하였으므로, 완비성의 증명에 대해 완료하면 완비충분통계량임을 증명할수 있다. $$Y_{1} = \sum_{i=1}^{n}K(X_{i})$$는 위에서 충분통계량임을 증명하였다 충분통계량의 함수인 $u(y_{1})$을 정의하고, 이에 대한 기댓값을 구하면 $$E[u_(y_{1})] = \int u(y_{1})R(y_{1})exp(p(\theta)y_{1} + nq(\theta))]dy_{1} = 0$$ 이는 $y_{1}$의 pdf는 $R(y_{1})exp(p(\theta)y_{1} + nq(\theta))$임을 이용하였다.  이 때, $R(y_{1})$은 $y_{1}$과 관련된 함수이며, $R(y_{1})$은 $\theta$와는 무관한 함수이다. 라플라스 변환을 수행하면 다음과 같은 결론을 내릴 수 있다. $$u(y_{1})R(y_{1}) = 0$$ 이 때, $R(y_{1})$은 $y_{1}$의 pdf의 한 구성요소임이 분명하기 때문에, 이를 만족하는 유일한 방법은 $u(y_{1}) = 0$ 뿐이다. 이로서 완비성도 증명하였다.

   -. 정리하면, 지수족의 경우 충분통계량 $\sum_{i=1}^{n}K(x_{i})$을 가지며, 그 충분통계량은 완비성을 갖춘 완비충분통계량이다.
   
   -. 지수족엔 정규분포, 포아송분포, 감마분포, 카이제곱분포 등 현대 통계학에서 주요하게 사용되는 대부분의 분포들이 포함되어 있기 때문에, 이 정리를 이용하면 완비충분통계량을 쉽게 구할 수 있다.
   
   
3. 예시
   1) 푸아송 분포의 완비성 증명
   

   $[X_{1}, \dots X_{n}]$이 pmf $\frac{\theta^{x}\cdot exp(-\theta)}{x!}$를 따르는 i.i.d인 확률표본이라 하자. -, 이 때, $Y_{1} = \sum(x_{i})$는 인수분해 정리에 따라 $\theta$에 대한 충분통계량이다. 또한, 푸아송 분포의 가법성에 따라 다음이 성립한다. $g(y_{1} ; \theta) = \frac{\theta^{y_{1}}\cdot exp(-n\theta)}{y_{1}!}$ 이 통계량의 족을 다음과 같이 정의한다 $\{g(y_{1};\theta) : \theta > 0\}$을 생각하고, $u(y_{1})$이라는 함수를 정의하자. 그 기댓값을 구하면 $$E[u(y_{1})] = \sum_{y_{1} = 1}^{\infty} \frac{\theta^{y_{1}}\cdot exp(-n\theta)}{y_{1}!} = u(0)exp(-n\theta) + u(1)\frac{\theta^{1}\cdot exp(-n\theta)}{1!} + u(2)\frac{\theta^{2}\cdot exp(-n\theta)}{2!} + \dots \\ = exp(-n\theta)\{u(0) + u(1) + u(2) + \dots\} = 0 $$ 위 식에서, $exp(-n\theta)$는 0이 아닌 점에서 명백히 0이 아니다. 따 라서, 이 식이 0이 되기위한 조건은 오직 $\{u(0) + u(1) + u(2) + \dots\} = 0$ 인 경우밖에 없으므로, 푸아송 분포족은 완비족이다.

   
   2) 정규분포에서의 완비충분통계량과 MVUE

   $X_{1}, \dots X_{n}$이 pdf $$f(x;\theta) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\theta)^{2}}{2\sigma^{2}})$$ 를 갖는 $N(\theta, \sigma^{2})$에서 추출한 확률표본이라 하자. 이 식을 고쳐쓰면 다음과 같이 나타낼 수 있다. $$exp[\frac{\theta}{\sigma^{2}}\sum x_{i} - \frac{\sum x_{i}^{2}}{2\sigma^{2}} - log(\sqrt{2\pi}\sigma) - \frac{\theta}{2\sigma^{2}}]$$ 그리고 정칙지수조건을 만족한다. 따라서, $Y_{1} = \sum x_{i}$는 정규분포에서의 완비충분통계량이다. 한편, $Y_{1}$의 평균과 분산을 구하면 -. $E(Y_{1}) = -n\frac{q'(\theta)}{p'(\theta)}$ 에서 -. $p'(\theta) = \frac{\partial\frac{\theta}{\sigma^{2}}}{\partial \theta} = \frac{1}{\sigma^{2}}$ -. $q'(\theta) = \frac{\partial\frac{\theta^{2}}{2\sigma^{2}}}{\partial \theta} = \frac{\theta}{\sigma^{2}}$ 따라서 $$E(Y_{1}) = -n\frac{\frac{\theta}{\sigma^{2}}}{-\frac{1}{\sigma^{2}}} = n\theta$$ 이 때, $E(\frac{Y_{1}}{n}) = \theta$를 도출할 수 있다. 이는 다음과 같은 성질을 갖는다. ①$\frac{Y_{1}}{n}$는 완비충분통계량 $Y_{1}$을 갖는다. ② $\frac{Y_{1}}{n}$은 완비충분통계량 $Y_{1}$의 함수이다. ③$E[\frac{Y_{1}}{n}] = \theta$ 이므로, 이는 불편추정량이다. 따라서, ①, ②, ③에 따라 $\frac{Y_{1}}{n}$는 최소분산불편추정량(MVUE)이다