34-1 다중 모수에서의 충분통계량

1. 단변량에서 다변량으로 확장
   1) 결합충분통계량
   ${(1)}$ 충분통계량을 다중 모수의 선형결합으로 표현한다. 

   $X_{1}, \dots, X_{n}$이 $\theta \in \mathbb{R}^{p}$ 라고 할 때 $f(x;\theta)$를 pdf 갖는 분포에서 추출한 확률표본이다. 통계량 $Y_{i}$들로 이루어진 다음의 확률벡터를 정의하자 $$\overset{\rightarrow}{Y} = \begin{bmatrix} u_{1}(X_{1}, \dots, X_{n})\\ \dots\\ u_{m}(X_{1}, \dots, X_{n}) \end{bmatrix}$$  즉, m개의 통계량으로 이루어진 $Y \in \mathbb{R}^{m}$확률벡터이다. 이 때, 확률벡터 Y에 대한 다변량 PDF를 $f_{y} = (y;\theta)$ 와 같이 정의하자. 이 때 $$\frac{\prod_{i=1}^{n}f(x_{i};\theta)}{f_{y}(y;\theta)} = H(X_{1}, X_{2}, \dots, X_{n})$$ 일 때 한해, Y를 $\theta$에 대한 결합충분통계량이라고 한다.

   ${(2)}$ 위의 정의를 뜯어보면 다음과 같은 인사이트를 확인할 수 있다.
   -. 모수 $\theta$ 의 차원 p와 통계량 $Y$의 차원 m은 굳이 일치할 필요는 없다. 
   -. 우변의 경우 모수 $\theta$에 의존하지 않는 확률표본들의 함수이다. 즉, 단변량에서의 정의가 다변량에서도 그대로 확장된다.
   
   2) 다변량 인수분해정리
   ${(1)}$ 단변량에서의 인수분해정리는 다변량으로 쉽게 확장이 가능하다. 즉, 다음의 경우 Y는 충분통계량이다.
   $$\prod_{i=1}^{n}f(x_{i};\theta) = k_{1}(y;\theta)k_{2}(x_{1}, \dots, x_{n})$$
   
   3) 다변량 완비족
   ${(1)}$ 단변량에서의 완비족 조건은 다변량으로 쉽게 확장이 가능하다.

   $\theta \in \Omega \in \mathbb{R}^{p}$일때, $\theta$에 의존하는 n개의 확률변수 $V_{1}, \dots, V_{n}$에 대하여 $\{f(V_{1}, \dots, V_{n};\theta); \theta \in \Omega\}$ 인 pdf 족을 정의하자. 즉, 다변량 확률변수의 결합 pdf의 족이다. 이 때, 어떤 함수 $u(V_{1}, \dots, V_{n})$에 대하여 다음이 성립한다고 하자. $E[u(V_{1}, \dots, V_{n})] = 0$ 이 때, 위 등식을 성립시키는 유일한 경우가 확률이 0인 경우(즉, $f(V_{1}, \dots, V_{n};\theta) = 0$)를 제외하고 $u(V_{1}, \dots, V_{n}) = 0$ 인 경우, 이를 완비족이라고 한다.

   
   4) 다변량 최소분산불편추정량
   ${(1)}$ 단변량에서 정의했던 라오-블랙웰 정리와 레만-셰페 정리를 이용하여 완비충분통계량과 최소분산불편추정량간 관계를 다변량에서도 정의할 수 있다. 
   

   모수(에 대한 함수) $\theta$에 대한 다변량 완비충분통계량을 Y라고 하자. 그리고, 이 완비충분통계량의 함수꼴을 다음과 같이 정의한다  $$T = T(Y)$$ 이 때, $E(T) = \theta$인, 즉 불편추정량인 경우, 이는 다변량 최소분산불편추정량이다.

   
   5) 지수족
   ${(1)}$ 단변량에서의 지수족도 다중모수에서의 경우로 확장할 수 있다.

   $\theta \in \Omega \in \mathbb{R}^{p}$ 일때, X가 pdf $f(x; \theta)$를 갖는 확률변수라고 하자. 그 pdf가 다음의 형태로 나타나면, 이 pdf(pmf)를 갖는 분포를 지수족에 속한다고 한다.  $$f(x;\theta) = exp[\sum_{j=1}^{p}p_{j}(\theta)K_{j}(x) + H(x) + nq(\theta)]$$ 이는 다음과 같이 증명할 수 있다. $[X_{1}, \dots, X_{n}]$을 이 분포에서 추출한 확률표본이라고 하자. 그 결합pdf는 다음과 같이 정의할 수 있다. $$\prod_{i=1}^{n}f(x;\theta) = exp[\sum_{i=1}^{n}\sum_{j=1}^{p}p_{j}(\theta)K_{j}(x_{i}) + \sum_{i=1}^{n}H(x_{i}) + nq(\theta)]$$ 이는 다음과 같이 인수분해를 할 수 있다. $$\prod_{i=1}^{n}f(x;\theta) = exp[\sum_{i=1}^{n}\sum_{j=1}^{p}p_{j}(\theta)K_{j}(x_{i})+ nq(\theta)]exp[\sum_{i=1}^{n}H(x_{i})]$$ 인수분해 정리에 따라, 이는 $\theta$에 의존하는 앞쪽 인수항과 의존하지 않는 뒷쪽 인수항의 결합이다.  따라서  $Y_{1} = K_{1}(x_{i}) , Y_{2} = K_{2}(x_{i}), \dots, Y_{n} = K_{p}(x_{i})$ 는 이 다변량 지수족의 완비충분통계량이다.

   다음의 조건까지 만족하는 지수족을 정칙지수류라고 표현한다. -. 함수의 범위는 모수벡터 $\theta$에 의존하지 않는다. -. 모수 공간 $\Omega$는 공집합이 아닌 $\mathbb{R}^{m}$인 공간이다 -. j = 1,2...,p에 대하여 $p_{j}(\theta)$는 서로 독립이고, 또한 모든 점에서 연속이다. -. (X가 연속형일 경우) j=1,2,...,p에 대하여 $K_{j}^{m}(X)$의 m계 도함수는  ① 구간 a < x < b에서 연속이고 ②선형동차함수가 없다. 또한, H(X)는 a<x<b에서 연속이다. -. (X가 이산형인 경우) j = 1,2,...,p에 대하여 $K_{j}(X)$는 범위 S 내에서 ①X에 대한 함수이고 ②선형동차함수가 없다.

2. 예제
   1) 다중 모수의 결합완비충분통계량

   $X_{1}, \dots, X_{n}$이 $-\infty < \theta_{1} < \infty$, $0 < \theta_{2} < \infty$ 라고 할 때 $N(\theta_{1}, \theta_{2})$인 분포에서 추출한 확률표본이라 하자. 이 때, pdf는 다음과 같이 정의할 수 있다. $$f(x;\theta) = exp[-\frac{1}{2\theta_{2}}x^{2} + \frac{\theta_{1}}{\theta_{2}}x + \frac{\theta_{1}^{2}}{2\theta_{2}} - log(\sqrt{2\pi\theta_{2}})]$$ 이 pdf로부터 $X_{1}, \dots, X_{n}$을 추출하고, 그 결합 pdf를 구하면 $$\prod_{i=1}^{n} f(x_{i};\theta) = -\frac{1}{2\theta_{2}}\sum_{i=1}^{n}x_{i}^{2} + \frac{\theta_{1}}{\theta_{2}}\sum_{i=1}^{n}x + \frac{\theta_{1}^{2}}{2\theta_{2}} - log(\sqrt{2\pi\theta_{2}})]$$ $Y$를 모수 벡터 $\theta$에 대응하는 완비충분통계량의 벡터라고 하면 $$Y = \begin{bmatrix} Y_{1} \\ Y_{2} \end{bmatrix} $$ 로 정의할 수 있는데, 결합 pdf의 꼴을 보면 다음이 완비충분통계량임을 알 수 있다. $$Y = \begin{bmatrix} Y_{1} \\ Y_{2} \end{bmatrix} = \begin{bmatrix} \sum_{i=1}^{n}x_{i} \\ \sum_{i=1}^{n}x_{i}^{2} \end{bmatrix} $$는 $\theta = \begin{bmatrix} \theta_{1} \\ \theta_{2} \end{bmatrix}$ 에 대한 완비충분통계량 벡터이다. 이 때, 다음의 통계량을 정의하자 $Z_{1} = \frac{Y_{1}}{n} = \overline{X}$ $Z_{2} = \frac{Y_{1} - Y_{2}/n}{n} = \sum_{i=1}^{n}\frac{(X_{i} - \overline{X})^{2}}{n-1}$ $E(Z) = \begin{bmatrix} \theta_{1} \\ \theta_{2} \end{bmatrix}$ 이기 때문에 불편추정량이고, 이는 완비충분통계량의 함수꼴이기 때문에 유일한 MVUE가 된다.