42. 이원배치 분산분석

1. 분산분석이란?
   ※ 아래 내용은 일원배치 분산분석의 내용을 준용하였다.
   
   1) 분산분석이란 2개 이상의 확률변수간에 평균 차이를 그 분산을 이용하여  검증하는 분석 방법론이다.
   
   ${(1)}$ 왜 평균 차이를 검정하는데 (표본)분산을 이용하는지는 일원배치 분산분석 유도를 참고
   
   2) 분산분석을 수행하기 전에 만족해야하는 조건은 아래와 같다.
   
   ${(1)}$ 각 확률변수는 정규분포를 따라야한다 : 구체적으로는, 분산분석 모델을 적합하고 나서 그 잔차가 정규분포를 따라야 한다. 
   
   ${(2)}$ 각 확률변수는 모두 동일한 분산을 가지고 있어야한다 : 마찬가지로, F분포를 유도하는 과정에서 모든 확률변수가 동일한 분산을 갖고있다는 전제조건이 필요하다. 
   
   ${(3)}$ 각 확률변수는 서로 확률적으로 독립이어야 한다.
   
   
2. 이원배치 분산분석
   1) 일원배치 분산분석과의 차이점
   
   ${(1)}$ 일원배치 분산분석은 b개의 확률변수(집단)에 대하여 한가지 요인에서 차이가 있는지를 검정하는 방법론이었다.
   
   ${(2)}$ 이원배치 분산분석은, 요인을 한차원 더 추가하여 A요인과 B요인의 (a,b)개의 확률변수(집단)가 각각의 요인에서 차이가 있는지를 검증한다.
   
   2) 이원배치 분산분석의 유도
   
   ${(1)}$ $X_{ij} \ (i=1,\dots,a, j=1,\dots,b)$를 요인 A의 i수준과 요인B의 j수준에서의 반응을 나타내는 확률변수라 하자. 분산은 $\sigma^{2}$으로 모두 동일하다. $\mu_{ij}$를 이 확률변수들의 평균이라고 하자.
   

   평균에 대하여, 다음과 같은 선형 가법모형을 정의하자 $$\mu_{ij} = \mu + (\overline{\mu}_{i} - \overline{\mu}) + (\overline{\mu}_{j}-\overline{\mu})$$ 위 식을 해석하면, 모든 확률변수의 평균 $\mu_{ij}$는 전체 평균 $\overline{\mu}$에 ① A의 부가적 영향 $\alpha_{i} = (\overline{\mu}_{i} - \overline{\mu})$ ② B의 부가적 영향 $\beta_{j} =(\overline{\mu}_{j} - \overline{\mu})$ 을 더한 것과 같다. 한편, $\alpha_{i}$와 $\beta_{i}$는 총평균에 대한 각 셀의 평균의 편차라고 할 수 있고,  편차의 정의에 따라 다음은 참이다. $\sum_{i=1}^{n} \alpha_{i} = 0$ $\sum_{i=1}^{n} \beta_{i} = 0$  $\mu_{ij}$라는 다차원 평균에 대하여 행렬을 정리하면 아래와 같이 나타낼 수 있고 이를 평균 프로파일 플롯(mean profile plot)이라 한다.   요인 B 1 2 3 평균 요인A 1 $\mu_{11}$ $\mu_{12}$ $\mu_{13}$ $\overline{\mu}_{i=1}$ 2 $\mu_{21}$ $\mu_{22}$ $\mu_{23}$ $\overline{\mu}_{i=2}$ 평균 $\overline{\mu}_{j=1}$ $\overline{\mu}_{j=2}$ $\overline{\mu}_{j=3}$ $\overline{\mu}$ i=2, j=3일때의 평균 프로파일 플롯 이제, 가설을 수립하고자 한다. 요인의 차원이 하나 더 늘어난 만큼 이제 가설도 마찬가지로 두 개의 차원으로 확장된다. $$H_{0A} : \alpha_{1} = \alpha_{2} = \dots = \alpha_{\alpha} = 0 \ VS \ H_{1A} : 적어도 \ 하나는 \ 0이 아니다 \\ H_{0B} : \beta_{1} = \beta_{2} = \dots = \beta_{\beta} = 0 \ VS \ H_{1B} : 적어도 \ 하나는 \ 0이 아니다$$ 예를 들어 $H_{0A}$가 참이라고 한다면, 위 평균 프로파일 플롯에서 요인A에 해당하는 행간 평균차이는 존재하지 않을 것이다. $H_{0B}$도 마찬가지로 참이라고 한다면 열간 평균차이는 없을것이다 이제, 이 가설검정을 하기 위해 우도비 검정식을 정의하자. -. 요인 B 수준에서의 검정 2차형식에서 F분포를 유도할 때 논의했던 $Q = Q_{3} + Q_{4}$를 다시 가져오자. 일원배치 분산분석을 유도할 때 우도비 검정을 정의하면서, 아래와 같은 모수공간을 정의하였다. -. 총 모수공간 $$\Omega = \{(\mu_{1},\mu_{2}, \dots, \mu_{b}, \sigma^{2}) : -\infty < \mu_{j} < \infty, 0 < \sigma^{2} < \infty\}$$ -. 가설공간 $$\omega = \{(\mu_{1}, \mu_{2}, \dots, \mu_{b}, \sigma^{2}), -\infty < \mu = \mu_{1} = \mu_{2} = \dots = \mu_{j} < \infty, 0 < \sigma^{2} < \infty\}$$ 이 공간하에서 우도함수를 각각 다음과같이 정의하자. -. $L(\Omega) = \begin{bmatrix}\frac{1}{2\pi\sigma}\end{bmatrix}^{\frac{ab}{2}}exp(-\frac{\sum\sum(x_{ij}-\mu_{j})^{2}}{2\sigma^{2}})$ -. $L(\omega) = \begin{bmatrix}\frac{1}{2\pi\sigma}\end{bmatrix}^{\frac{ab}{2}}exp(-\frac{\sum\sum(x_{ij}-\mu)^{2}}{2\sigma^{2}})$ 위 공간에서 $\sigma_{\Omega}^{2}$를 최대화하는 MLE 추정량은  $$\frac{\sum\sum(X_{ij} - \overline{X}_{j})^{2}}{ab}$$ 였고, $\sigma_{\omega}^{2}$를 최대화하는 MLE 추정량은  $$\frac{\sum\sum(X_{ij} - \overline{X})^{2}}{ab}$$ 였다. 단조우도비함수 $\Lambda$를 정의할 때 이는 최강력검정이고, 따라서 완비충분통계량의 함수꼴인 $\sigma_{\Omega}^{2}$ 와 $\sigma_{\omega}^{2}$만을 이용하여 우도비 가설검정을 수행할 수 있다.(최강력 검정 참고) 일원배치 분산분석에서 이는 다음과 같이 유도하였다. $$\Lambda = \frac{\sigma_{\Omega}^{2}}{\sigma_{\omega}^{2}} = \frac{Q_{4}/(b-1)}{Q_{3}/(b(a-1)}$$ 앞전에 전개했던 이 논리를 이제 이원배치의 문제로 확대하고자 한다. 2차형식에서 F분포를 유도할 때 논의했던 $Q = Q_{2} + Q_{4} + Q_{5}$를 다시 가져오자. 즉 $$(ab-1)S^{2} = b\sum_{i=1}^{a}(\overline{X}_{i} - \overline{X})^{2} + a\sum_{j=1}^{b}(\overline{X}_{j} - \overline{X})^{2} + \sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2}$$ 이 때, 모수공간과 가설공간은 다음과 같이 정의할 수 있다. -. 총 모수공간 $$\Omega = \{(\beta_{1},\beta_{2}, \dots, \beta_{b}, \sigma^{2}) : -\infty < \beta_{j} < \infty, 0 < \sigma^{2} < \infty\}$$ -. 가설공간 $$\omega = \{(\beta_{1}, \beta_{2}, \dots, \beta_{b}, \sigma^{2}), -\infty < \beta_{1} = \beta_{2} = \dots = \beta_{j} < \infty, 0 < \sigma^{2} < \infty\}$$ 이 때, $\beta_{j} = (\overline{\mu}_{j} - \overline{\mu})$ 임을 기억하자. 또한, $\beta$의 최대우도 추정량은 증명하진 않겠지만 다음과 같다. $\widehat{\beta}_{j} = (\overline{X}_{j} - \overline{X})$ 일원배치 분산분석에서 봤던 논리대로, ① 전체 모수공간 $\Omega$ 하에서의 분산 $\sigma_{\Omega}^{2}$의 MLE 추정량을 구하면 $$\widehat{\sigma_{\Omega}}^{2} = \frac{\sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i} - (\overline{X}_{j} - \overline{X}))^{2}}{ab} = \frac{Q_{5}}{ab}$$ ②가설공간 $\omega$ 하에서의 $\sigma_{\omega}^{2}$의 최대우도추정량을 구하면  -. 가설공간 하에서 $\widehat{\beta}_{j} = (\overline{X}_{j} - \overline{X})$이 0과 같다고 가정했다는 점을 상기하자. $\widehat{\sigma_{\Omega}}^{2}$에서 $\widehat{\beta}_{j} = (\overline{X}_{j} - \overline{X})$ 는 소거된다. 따라서 $$\widehat{\sigma_{\omega}}^{2} = \frac{\sum\sum(X_{ij} - \overline{X})^{2}}{ab}$$ ③이제, $\frac{\sum\sum(X_{ij} - \overline{X})^{2}}{ab} = \frac{Q_{4} + Q_{5}}{ab}$와 같음을 보일것이다. 2차형식에서 $Q = (ab-1)S^{2} = Q_{1} + Q_{2} = \sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i})^{2} + b\sum_{i=1}^{a}(\overline{X}_{i} - \overline{X})^{2}$ 임을 보였다.  $Q = Q_{2} + Q_{4} + Q_{5}$ 형식을 가져와서, 양쪽을 등식으로 놓으면  $$\sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i})^{2} + b\sum_{i=1}^{a}(\overline{X}_{i} - \overline{X})^{2} = b\sum_{i=1}^{a}(\overline{X}_{i} - \overline{X})^{2} + a\sum_{j=1}^{b}(\overline{X}_{j} - \overline{X})^{2} + \sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2}$$ $\Rightarrow$ $$\sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i})^{2} \\ = a\sum_{j=1}^{b}(\overline{X}_{j} - \overline{X})^{2} + \sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2} \\ = Q_{4} + Q_{5}$$ $\frac{\sum\sum(X_{ij} - \overline{X})^{2}}{ab} = \frac{Q_{4} + Q_{5}}{ab}$ 이고 우리가 원하는 결과다. ①과 ③을 이용하여 단조우도비를 정의하자 $$\Lambda_{B} = \frac{\widehat{\sigma_{\Omega}}^{2}}{\widehat{\sigma_{\omega}}^{2}} = \frac{Q_{5}}{Q_{4} + Q_{5}} = \frac{Q_{4}/(b-1)}{Q_{5}/(a-1)(b-1)}$$ 따라서  $$\Lambda_{B} \sim F[(b-1), (a-1)(b-1)]$$이다. -. 요인 A 수준에서의 검정 위의 논리는 A에서의 검정에도 동일하게 적용할 수 있다.  A에서의 최대우도추정량을 구하면 $\widehat{\sigma_{\Omega}}^{2} = \frac{\sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i} - (\overline{X}_{j} - \overline{X}))^{2}}{ab} = \frac{Q_{5}}{ab}$ $\widehat{\sigma_{\omega}}^{2} = \frac{\sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{j})^{2}}{ab} = \frac{Q_{2} +Q_{5}}{ab}$ 따라서  $$\Lambda_{A} = \frac{\widehat{\sigma_{\Omega}}^{2}}{\widehat{\sigma_{\omega}}^{2}} =\frac{Q_{2}/(a-1)}{Q_{5}/(a-1)(b-1)}\sim F[(a-1),(a-1)(b-1)]$$ 이로서, 가설검정을 위한 결정규칙을 만들 수 있다. 각각의 가설 A와 B에 대하여 $$\alpha = P_{H_{0A}}[\frac{Q_{2}/(a-1)}{Q_{5}/(a-1)(b-1)} > d_{A}(Z)]$$ $$\alpha = P_{H_{0B}}[\frac{Q_{4}/(b-1)}{Q_{5}/(a-1)(b-1)} > d_{B}(Z)]$$ 이 결정규칙하에 $d_{A}(Z)$와 $d_{B}(Z)$는 각각 $F[(a-1),(a-1)(b-1)]$, $F[(b-1),(a-1)(b-1)]$ 을 따른다.

   ${(2)}$ A수준과 B수준 각각의 검정규칙을 도출하였으므로, 이를 이용하여 각각의 가설검정을 수행 가능하다.
   
   3) 교호작용의 분석
   
   ${(1)}$ 이원배치 분산분석의 장점 중 하나는 요인간의 교호작용을 분석하는 것이 가능하다는 것이다.
   
   -. 교호작용이란, A요인과 B요인 각각의 영향력을 판단하는 $\alpha_{i}$와 $\beta_{i}$로도 설명이 안되는 요인을 의미한다.
   
   -. $\alpha_{i}$와 $\beta_{i}$로도 설명이 안된다는 의미는 A요인과 B요인을 벗어나는모종의 숨겨진 작용이 있음을 암시한다.
   
   ${(2)}$ 이제, 위에서 유도한 이원배치 분산분석에 교호작용이라는 한가지 차원을 더 추가하여 수정할 것이다.
   

   앞서, 이원배치 분산분석을 정의하며 아래와 같은 평균의 선형결합식을 정의하였다. $$\mu_{ij} = \overline{\mu} + (\overline{\mu}_{i} - \overline{\mu}) + (\overline{\mu}_{j}-\overline{\mu})$$ 이제, $$\mu_{ij} \neq \overline{\mu} + (\overline{\mu}_{i} - \overline{\mu}) + (\overline{\mu}_{j}-\overline{\mu})$$  인 경우를 다룰것이다. 같지 않은경우, 이를 같게 만들어주는 어떤 임의의 변수 $\gamma_{ij}$를 추가하여 같게 만들어줄 수 있다. 즉 $$\mu_{ij} = \gamma_{ij} + \overline{\mu} + (\overline{\mu}_{i} - \overline{\mu}) + (\overline{\mu}_{j}-\overline{\mu})$$  이 식을 새로 추가한 변수 $\gamma_{ij}$에 대한 식으로 정리하면 $$\gamma_{ij} = \mu_{ij} - \{\overline{\mu} + (\overline{\mu}_{i} - \overline{\mu}) + (\overline{\mu}_{j}-\overline{\mu}\}$$ 즉, $\gamma_{ij}$는 셀 내 효과 $\alpha_{i}$와 $\beta_{j}$로도 설명이 안되는 어떤 잔차(Error)를 반영한다. 이를 평균 프로파일 플롯으로 나타내면 다음과 같다.   요인 B 1 2 3 평균 요인A 1 $\mu_{11} = 8$ $\mu_{12} = 7$ $\mu_{13} = 3$ $\overline{\mu}_{i=1}  = 6$ 2 $\mu_{21} = 4$ $\mu_{22} = 3$ $\mu_{23} = 5$ $\overline{\mu}_{i=2} = 4$ 평균 $\overline{\mu}_{j=1} = 6$ $\overline{\mu}_{j=1} = 5$ $\overline{\mu}_{j=1} = 4$ $\overline{\mu} = 5$ 이 경우, $\mu_{11} = 8 \neq  5 + (6-5) + (6 - 5)$ 이고, 교호작용 모수 $\gamma_{11} = 1$이 존재해야 등식 관계가 성립된다. 이런식으로, A와 B만으로는 설명이  안되는 잔차가 존재하는 경우가 이제 우리의 관심사가 된다.

   다음의 가설을 검정하고자 한다. $$H_{0AB} : 모든 \gamma_{ij} = 0 \ VS \  H_{1AB} : 적어도 \ 하나는 \ 0이 \ 아니다 $$ 확률변수 $X_{ijk} \ (i=1,\dots,a, j=1,\dots,b, k = 1, \dots, c)$를 요인 A의 i수준과 요인B의 j수준에서의 반응에 더해 각 셀별로 c개의 교호작용이 존재한다고 가정하는 확률변수라 하자. 분산은 $\sigma^{2}$으로 모두 동일하다. $\mu_{ij}$를 이 확률변수들의 평균이라고 하자. 모수공간과 가설공간을 정의하면 -. 총 모수공간 $$\Omega = \{(\gamma_{1},\gamma_{2}, \dots, \gamma_{\gamma}, \sigma^{2}) : -\infty < \gamma_{j} < \infty, 0 < \sigma^{2} < \infty\}$$ -. 가설공간 $$\omega = \{(\gamma_{1}, \gamma_{2}, \dots, \gamma_{b}, \sigma^{2}), -\infty < \gamma_{1} = \gamma_{2} = \dots = \gamma_{j} < \infty, 0 < \sigma^{2} < \infty\}$$ $$\sum^{a}\sum^{b}\sum^{c}(X_{ijk} - \overline{X})^{2} = Q_{4} + Q_{5}$$에 대하여  바로 위에서 진행했던 이원배치 분산분석의 유도 중 ③의 논리를 가져오면 다음과 같이 전개가 가능하다. $$\sum^{a}\sum^{b}\sum^{c}(X_{ijk} - \overline{X})^{2} = \\ bc\sum_{i=1}^{a}(\overline{X}_{i} - \overline{X})^{2} \dots ① \\ + ac\sum_{j=1}^{b}(\overline{X}_{j} - \overline{X})^{2} \dots ② \\ + c\sum_{i=1}^{a}\sum_{j=1}^{b}(\overline{X}_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2} \dots ③ \\ + \sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{c}(X_{ijk} - \overline{X}_{ij})^{2} \dots ④$$ 위 식을 해석하면, 이는 ①행간차이, ②열간차이, ③교호작용에 의한것 ④칸 내의 변동으로 분해된다.  우리가 관심을 가지는 항은 ③교호작용에 의한것 이다. 따라서 $$\widehat{\sigma_{\Omega}}^{2} = c\frac{\sum_{i=1}^{a}\sum_{j=1}^{b}(\overline{X}_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2}}{(a-1)(b-1)}$$ 증명하진 않겠지만, 교호작용 모수 $\gamma_{ij}$에 대한 최대우도추정량은 다음과 같다. $$\widehat{\gamma_{ij}} = \overline{X}_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X}$$ $H_{1AB}$가 참이라면 이는 0과 같다. 따라서 ③과 ④를 합친 Q5 $c\sum_{i=1}^{a}\sum_{j=1}^{b}(\overline{X}_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2} + \sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{c}(X_{ijk} - \overline{X}_{ij})^{2}$ 에서 앞의 항은 0이 되고, ④만 살아남는다. 따라서 $$\widehat{\sigma_{\omega}}^{2} = \frac{\sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{c}(X_{ijk} - \overline{X}_{ij})^{2}}{ab(c-1)}$$ 이제, 단조우도비를 정의할 수 있다. $$\Lambda_{AB} = \frac{\widehat{\sigma_{\Omega}}^{2}}{\widehat{\sigma_{\omega}}^{2}} =\frac{c\sum_{i=1}^{a}\sum_{j=1}^{b}(\overline{X}_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2}/(a-1)(b-1)}{\sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{c}(X_{ijk} - \overline{X}_{ij})^{2}/ab(c-1)}\sim F[(a-1)(b-1),ab(c-1), \theta = \frac{c\sum_{i=1}^{a}\sum_{j=1}^{b}\gamma_{ij}^{2}}{\sigma^{2}}]$$ 인 비중심 F분포를 따른다. 이로서, 가설검정을 위한 결정규칙을 만들 수 있다. $$\alpha = P_{H_{0AB}}[\frac{c\sum_{i=1}^{a}\sum_{j=1}^{b}(\overline{X}_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2}/(a-1)(b-1)}{\sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{c}(X_{ijk} - \overline{X}_{ij})^{2}/ab(c-1)} > d_{AB}(Z)]$$ 에서 $d_{AB}(Z)$ 는 $F[(a-1)(b-1),ab(c-1), \theta = \frac{c\sum_{i=1}^{a}\sum_{j=1}^{b}\gamma_{ij}^{2}}{\sigma^{2}}]$를 따르므로, 이를 이용하여 가설검정을 수행할 수 있다.

3. 예제
   1) 다음과 같은 데이터 행렬이 주어졌다. 이 때, ①행요인, ②열요인은 0가 같다를 검정하는 F통계량을 계산하라
   

   	1	2	3	4
   1	3.4 2.9	4.2 4.9	2.7 3.2	4.9 4.5
   2	2.7 2.9	2.9 2.3	1.8 2.4	3.0 3.7
   3	4.0 4.4	4.6 5.0	3.0 2.5	3.9 4.2

   ${(1)}$ 우선, 이 데이터 행렬의 평균 프로파일 플롯을 아래와 같이 계산한다.
   

   	1	2	3	4	평균
   1	3.15	4.55	2.95	4.7	3.84
   2	2.8	2.6	2.1	3.35	2.71
   3	4.2	4.8	2.75	4.05	3.95
   평균	3.38	3.98	2.6	4.03	3.5

   -. 행요인에 대한 F통계량 :
   ① 행간 통계량 $Q_{2}$ 계산
   $$b\sum_{i=1}^{a}(\overline{X}_{i} - \overline{X})^{2}$$ 에서 b = 4이고, 
   $$ 4[(3.84 - 3.68)^{2} + (2.71 - 3.68)^{2} + (3.95 - 3.68)^{2})] = 3.74625$$ 이다.
   따라서 $\frac{3.74625}{2} = 1.8731$
   ② 셀내 통계량 $Q_{5}$ 계산 
   $$\sum_{i=1}^{a}\sum_{j=1}^{b}(X_{ij} - \overline{X}_{i} - \overline{X}_{j} + \overline{X})^{2}$$에서
   $$ (3.4 - 3.84 - 3.38 + 3.68)^{2}) + (4.2 - 3.84 - 3.98 + 3.68)^{2}) + (2.7 - 3.84 - 2.6 + 3.68)^{2}) \\ + \dots + (2.5 - 3.95 - 2.6 + 3.68)^{2}) + (4.2 - 3.95 - 4.03 + 3.68)^{2}) = 30.11139$$
   따라서 $\frac{30.11139}{6} = 5.018565$
   ③ 두 비율은 $\frac{1.8731}{5.018565} = 0.373$
   ④ $\alpha = 0.05$ 에서 $F(3,6) = 4.76$ 이므로, $H_{0A}$를 기각하지 못한다.
   
   이와 같은 방식으로 열 요인도 F통계량을 계산할 수 있다.