39-1. 통계학적 2차 형식(다변량)

1. 단변량 2차형식의 다변량 확장
   1) 우리는 앞서 단변량에서의 2차형식(Quadratic Form)을 정의한바 있다. 이제 이를 다변량으로 확장하고자 한다.
   
   2) 우선, 논의를 진행하기에 앞서 다음의 사전 지식이 필요하다.
   ${(1)}$ 정방행렬의 대각합의 성질
   

   만약 행렬 A가 nxn의 정방행렬이고, tr(A)를 이 행렬의 대각성분의 합으로 정의하자. 그러면 다음의 성질이 성립된다. 어떤 임의의 스칼라 상수 a,b에 대하여 ①선형성 : $tr(aA + bB) = a tr(A) + b tr(B)$ ②교환가능성 : $tr(ABC) = tr(BCA) = tr(CAB)$

   3) 다변량에서의 2차형식의 성질
   
   ${(1)}$ 2차형식인 다변량 분포의 기댓값의 성질
   

   n차원 확률벡터 X에 대하여, 그 평균 벡터를 $\mu$, 분산-공분산 행렬을 $\Sigma$라고 하자. $Q = x^{T}Ax$인 2차형식이라고 할 때, 다음은 참이다. $$E(Q) = A\Sigma + \mu^{T}A\mu$$

   
   ${(2)}$ 2차형식인 다변량 정규분포의 적률생성함수
   

   X를 $[X_{1}, \dots X_{n}]$을 요소값으로 갖는 확률벡터라고 하자. 이 때 $X_{1}, \dots, X_{n}$은 각각 $N(0, \sigma^{2})$을 따르는 i.i.d이다. 행렬의 Rank r이 $r \leq n$인 대칭행렬 A를 상정하자. 이 때, A에 대한 2차 형식 $$Q = \sigma^{-2}x^{T}AX$$은 다음의 다변량 적률생성함수를 가진다. $M(t) = \prod_{i=1}^{n}(1-2t\lambda_{i})^{-1/2}$ 을 갖는다.

   이는 다음과 같이 증명할 수 있다. A는 $nxn$인 대칭행렬이므로 고유분해가 가능하다. 즉 $A = \Gamma^{T} \Lambda \Gamma$ 이 때, $Q = \sigma^{-2}x^{T}AX = \sum_{i=1}^{n}\lambda_{i}\sigma^{-2}v_{i}^{2}X^{2} = \sum_{i=1}^{n}\lambda_{i}(\sigma^{-1}v_{i}X)^{2}$ 이다. 고유공간의 한 벡터 $\Gamma^{T}_{1} = [v_{1}, \dots v_{n}]$를 이용한 r차원 행렬벡터 $w = \sigma^{-1}\Gamma^{T}_{1}X$를 정의하자.  대칭행렬의 성질에 따라 고유분해한 각 벡터들은 고유공간에서 정규직교기저를 형성한다. 정규직교기저의 성질에 따라 $\Gamma^{T}_{1} \cdot \Gamma_{1} = I$ 이고, 확률벡터 X는 $N_{n}(0, \sigma^{2}I)$를 따르는 다변량 정규분포이므로 다변량 정규분포의 MGF에 따라 MGF를 통해 역으로 분포 w를 정의하면 $W \sim N_{r}(0,I)$인 표준 다변량정규분포를 따름을 알 수 있다. $$Q = \sum_{i=1}^{n}\lambda_{i}(\sigma^{-1}v_{i}X)^{2} = \sum_{i=1}^{n}\lambda_{i}w_{i}^{2}$$로 나타내면 Q에 대한 mgf는 $E[exp(tQ)] = E[exp(\sum_{i=1}^{r}t\lambda_{i}W_{i}^{2})]$ 이 때, $w_{i}^{2}$은 $X^{2}(1)$을 따르므로, 이 사실을 이용하면  $E[exp(\sum_{i=1}^{r}t\lambda_{i}W_{i}^{2})] = \prod_{i=1}^{n}(1-2t\lambda_{i})^{-1/2}$ 이다. 한편, $|I - 2tA|^{-1/2} = |\Gamma^{T}\Gamma - 2t\Gamma^{T}\Lambda\Gamma| = \Gamma^{T}(1-2t\Lambda)\Gamma| = |I - 2t\Lambda| = \prod_{i=1}^{n}(1-2t\lambda_{i})^{-1/2}$ 이므로, 이것이 바로 원하는 결과이다.

   
   ${(3)}$ 2차형식 Q와 카이제곱 분포와의 관계
   

   $X = [X_{1}, \dots, X_{n}]$이 $N_{n}(\mu, \Sigma)$를 따르는 다변량 확률벡터라고 하자. 그러면 다음은 참이다. $$(X-\mu)^{T}\Sigma^{-1}(X-\mu) \sim x^{2}(n)$$

   아래와 같이 증명할 수 있다. 분산-공분산 행렬 $\Sigma$는 nxn의 대칭행렬이므로 고유분해가 가능하다. 즉 $$\Sigma = \Gamma^{T}\Lambda\Gamma$$ 만약, $\Sigma$의 역행렬이 존재하고, 이를 반영해서 위 식을 고치면 $$\Sigma^{-1} = \Gamma^{T}\Lambda^{-1}\Gamma = \Gamma^{T}\Lambda^{-\frac{1}{2}}\Gamma\Gamma^{T}\Lambda^{-\frac{1}{2}}\Gamma$$ (정규직교벡터의 경우 $\Gamma^{T} = \Gamma^{-1}$임을 이용하였다.) $\Gamma\Gamma^{T} = I$ 이고, $(X-\mu)^{T}\Gamma^{T}\Lambda^{-1/2} = [\Lambda^{-1/2}\Gamma(X-\mu)]^{T}$ 이므로 $$\Gamma^{T}\Lambda^{-\frac{1}{2}}\Gamma\Gamma^{T}\Lambda^{-\frac{1}{2}}\Gamma = [\Lambda^{-1/2}\Gamma(X-\mu)]^{T}\cdot I \cdot [\Lambda^{-1/2}\Gamma(X-\mu)]$$ 이 때, $Y = AX + b \sim N_{m}(A\mu + b, A\Sigma A^{T})$ 라는 사실을 다변량 정규분포의 선형변환에서 증명하였다. 따라서  $$\Lambda^{-1/2}\Gamma(X-\mu) = (\Lambda^{-1/2}\Gamma X) - (\Lambda^{-1/2}\Gamma\mu) \sim \\ N_{m}[\Lambda^{-1/2}\Gamma\mu - \Lambda^{-1/2}\Gamma\mu \ , \ (\Lambda^{-1/2}\Gamma)(\Gamma^{T}\Lambda\Gamma)(\Gamma^{T}\Lambda^{-1/2})]$$ $N_{m}$의 식 내부가 장황하지만, 당황하지 않고 정리하면 이는 $N_{m}[0,I]$인 표준 다변량정규분포임을 알 수 있다. 따라서, $(X-\mu)^{T}\Sigma^{-1}(X-\mu) = [\Lambda^{-1/2}\Gamma(X-\mu)]^{T}\cdot I \cdot [\Lambda^{-1/2}\Gamma(X-\mu)]$는 $[N_{m}(0,I)]^{T} I [N_{m}(0,I)] \sim X^{2}(n)$과 같으므로, 이것이 바로 원하는 결론이다.

   
   ${(4)}$ A가 멱등행렬일때의 성질
   

   $A = A^{2}$인 멱등행렬이라고 하자. 그럼 다음의 성질들이 성립한다. ① 그 고윳값은 오직 0 아니면 1로만 이루어져있다. -. $\lambda$를 고유벡터 $V_{i}$에 상응하는 고윳값이라고 하자. $\lambda v_{I} = AV_{i} = A^{2}v_{i} = \lambda A v_{i} = \lambda^{2} v_{i}$ -. 이 때, $\lambda v_{i} - \lambda^{2} v_{i}  = 0$에서 $\lambda(\lambda - 1)v_{i} = 0$이므로,  고유벡터 $v_{i}$가 0벡터가 아니라면 이 등식을 만족시키는 유일한 방법은 $\lambda = 0 or 1$인 경우 뿐이다. ② A가 멱등행렬일경우 그 대각합은 행렬 A의 Rank와 일치한다. -. $tr(A) = tr(\lambda\Gamma^{T}\Gamma) = tr(\Lambda)$ -. 이 때, 고윳값이 0이 아니란 의미는 그 고윳값에 대응하는 벡터가 선형종속상태에 놓여있지 않음을 의미한다. 따라서, 고윳값이 1인 값만 대각합에서 합쳐지므로, 이는 곧 정의성 Rank(A)와 동일하다. ③ $X = [X_{1}, \dots X_{n}]$이 i.i.d $N(0, \sigma^{2})$ 일때, Rank가 r인 A가 멱등행렬일 조건은 $Q = X^{T}AX \sim x^{2}(r)$임을 요구한다. -. 위에서 정리한 바에 따라 멱등행렬의 고윳값은 $\lambda_{1} = \dots = \lambda_{r} = 1$ 이고 -. 조건에 따라 $Q \sim X^{2}(r)$을 따른다면 그 결합 MGF는 $\prod_{i=1}^{n}(1-2t\lambda_{i})^{-1/2}$를 따른다. -. 이 때 $\lambda_{1} = \dots = \lambda_{r} = 1$ 이면 $prod_{i=1}^{n}(1-2t\lambda_{i})^{-1/2} = (1-2t)^{-r/2}$ 이고 이는 $x^{2}(r)$의  MGF이다. 따라서, 이런 경우에만 A가 멱등행렬임이 보장된다.