6. 다변량 분포(결합확률분포)

1. 다변량 분포란?
   1) 두 개 이상의 확률변수가 결합된 분포를 의미한다
   ${(1)}$ 두 개 이상의 확률변수를 다루기 때문에, 이를 한번에 처리하기 위한 방법으로 선형대수학적 방법론을 활용한다.
   ${(2)}$ 본격적으로 벡터와 같은 다변수 방법론을 차용한다.
   
   2) 표본공간 e에서 확률변수 $x_{1}, x_{2} ... x_{n}$이 있을 때
   $ D = \begin{bmatrix}
    x_{1}\\...\\x_{n}
   \end{bmatrix}$인 벡터를 확률벡터라고 한다.
   
   3) 표기법은 다음과 같다.
   ${(1)}$ 이 때, A를 D의 부분집합이라고 한다면, 이를 표기할 때 $P_{x_{1},x_{2}...,x_{n}}(A)$로 표기한다.
   
   
2. 결합분포의 결합누적분포함수(CDF)
   
   1) 일변량 확률변수와 마찬가지로, 다변량 분포도 CDF를 정의할 수 있다.
   2) 분포가 이산형이면 결합확률질량함수는
   $$\sum\sum P_{x_{1},x_{2}}(x_{1},x_{2})$$
   3) 분포가 연속형이면 결합누적분포함수는
   $$\int f_{x_{1},x_{2}}(x_{1},x_{2})dx$$
   
   4) $F_{x_{1},x_{2}}(x_{1},x_{2}) = P(\{X_{1} \leq x_{1}\} \cap \{X_{2} \leq x_{2}\})$ 라고 정의할 때, 아래와 같은 관계도 따라서 정의된다.
   ${(1)}$ $P(\{a < X_{1} < b\} \cap \{c < X_{2} < d\}) = F_{x_{1},x_{2}}(b,d) - F_{x_{1},x_{2}}(a,d) - F_{x_{1},x_{2}}(b,c) + F_{x_{1},x_{2}}(a,c)$ 
   ${(2)}$ 즉, 이항전개와 같은 형식으로 확률 공간도 각 부분공간별로 쪼개어 그 결합으로 표현할 수 있다.
   
   
3. 결합분포의 결합확률밀도함수(PDF)
   1)  CDF에 대한 각 확률변수들의 미분이 결합확률밀도함수가 된다. 즉
   $$\frac{\partial F_{x_{1}, \dots, x_{n}}(X_{1}, \dots, X_{n})}{\partial X_{1}, \dots, X_{n}} = f_{x_{1}, \dots, x_{n}}(x_{1}, \dots x_{n})$$
   
   
4. 다변량 분포의 기댓값
   
   1) $(x_{1}, x_{2})$이 연속형일 때, $Y = g(x_{1}, x_{2})$에 대하여 $E(Y)$는 $\int\int_{-\infty}^{\infty} g(x_{1},x_{2})f(x_{1},x_{2})dx_{1}dx_{2}$이다.
   
   2) $(x_{1}, x_{2})$가 이산형일 때, $Y = g(x_{1}, x_{2})$에 대하여 $E(Y)$는 $\sum\sum g(x_{1},x_{2})P_{x_{1},x_{2}}(x_{1},x_{2})$
   
   3) 다변량 분포의 적률도 일변량 분포의 적률과 같은 방법으로 구하며, 
   ${(1)}$ $M_{x_{1},x_{2}}(t_{1},t_{2})=E(e^{t_{1}x},e^{t_{2}x})$ 라고 할 때 MGF의 벡터는 
    $M_{x_{1},x_{2}}(t_{1},t_{2})=\begin{bmatrix}
    M_{x_{1}}(t_{1},0)\\M_{x_{2}}(0,t_{2})
   \end{bmatrix}$로 ,각각의 벡터가 된다.
   
   
5. 확률변수의 변환(예제로 살펴보는)
   1) 다변량 확률변수는 각각의 확률변수가 어떠한 관계를 맺을 수 있다.
   ${(1)}$ 이 관계를 이용하여, 각 확률변수간 변환을 수행할 수 있다.
   -. 즉, 함수 - 역함수 관계같이 확률변수도 변환 및 역변환을 수행할 수 있다.
   ${(2)}$ 여기서는, 그 방법론을 예제로서 확인해보고자 한다.
   
   2) $X_{1}, X_{2}$의 결합 pdf가 
   ${(1)}$ $$f_{x_{1},x_{2}}(x_{1},x_{2})= 
   \left\{\begin{matrix}
    \frac{1}{4}e^{-\frac{x_{1}+x_{2}}{2}} \ 0 < x_{1} < \infty\\0 \ else 
   \end{matrix}\right.$$
   이고, $Y_{1}=\frac{1}{2}(x_{1} - x_{2})$ 이고 $Y_{2} = X_{2}$일떄
   
   ${(2)}$ $X_{2} = Y_{2}$이고, $X_{1} = 2Y_{1}+Y_{2}$ 이다(역함수)
   
   ${(3)}$ 이 때, 이 변환된 확률변수를 구하면 
   -. 범위는 $0 < 2Y_{1} + Y_{2} < \infty$ 이므로 $Y_{1}$에서 $-\frac{1}{2}Y_{2} < Y_{1} < \infty$ 이고 $Y_{2}$에서 $-\frac{1}{2}Y_{1} < Y_{2} < \infty$
   
   -. pdf를 역함수와 연결하면 $f_{Y_{1}, Y_{2}}(y_{1},y_{2})=f_{x_{1},x_{2}}(2y_{1}+y_{2},y_2)$ 이므로
   
   -. $$f_{x_{1},x_{2}}(x_{1},x_{2})= 
   \left\{\begin{matrix}
    \frac{1}{4}e^{-(2y_{1}+y_{2}) + y_{2}} \cdot |J| \ 0 < x_{1} < \infty\\0 \ else 
   \end{matrix}\right.$$
   
   -. 이 때 변환 야코비안 |J|는
   $$ det \begin{vmatrix}
    \frac{x_{1}}{\partial y_{1}} & \frac{x_{1}}{\partial y_{2}} \\
    \frac{x_{2}}{\partial y_{1}} & \frac{x_{2}}{\partial y_{2}} \\
   \end{vmatrix}$$
   이므로
   
   $$ |J| = det \begin{vmatrix}
    \frac{2y_{1} + y_{2}}{\partial y_{1}} & \frac{2y_{1} + y_{2}}{\partial y_{2}} \\
    \frac{y_{2}}{\partial y_{1}} & \frac{y_{2}}{\partial y_{2}} \\
   \end{vmatrix} = det \begin{vmatrix}
    2 & 1 \\
    0 & 1 \\
   \end{vmatrix} = 2 $$
   ${(4)}$ 변환 야코비안도 포함하여 변환 PDF를 최종 정의하면
   
   -. $$f_{x_{1},x_{2}}(x_{1},x_{2})= 
   \left\{\begin{matrix}
    \frac{2}{4}e^{-y_{1}-y_{2}} \cdot \ 0 < x_{1} < \infty\\0 \ else 
   \end{matrix}\right.$$
   ${(4)}$ 도출한 변환 PDF를 이용하여 $Y_{1}$ 주변(Marginal)확률밀도함수를 구하면
   $$f_{y_{1}}(y_{1})= 
   \left\{\begin{matrix}
    \int_{-2y_{1}}^0 \frac{2}{4}e^{-y_{1}-y_{2}} \cdot dy_{2} \quad -\infty < y_{1} < 0 \\
    \int_{0}^\infty \frac{2}{4}e^{-y_{1}-y_{2}} \cdot dy_{2} \quad 0 < y_{1} < \infty
   \end{matrix}\right.$$
   
   3) 위 예제를 통해, 확률변수를 변환하는 방법론을 일종의 프로시져로 일반화 할 수 있다.
   ${(1)}$ 그 방법론을 표로 정리하면, 아래와 같이 나타낼 수 있다.
   

   기본적인 아이디어	확률질량함수의 변환	확률밀도함수의 변환
   1. 함수의 역함수를 구한다	1. X와 Y의 관계를 이용하여 역함수를 구한다.	1. X와 Y의 관계를 이용하여 역함수를 구한다
   2. 범위를 구한다	2. 받침(범위)를 구성하기 위해 변환된 범위를 구한다	2. 원함수 $f(X_{1}, X_{2})$ 의 범위를 이용하여 역함수 $f(Y_{1}, Y_{2})$의 범위를 구한다 => 범위를 구하는 부분이 변환에서 가장 어려운 부분이다.
   3. 확률함수와 역함수를 연결짓는다	3. 확률질량함수와 역함수를 연결짓고, 푼다.	3. 변환 야코비안 $$\begin{vmatrix} \frac{x_{1}}{\partial y_{1}}&\frac{x_{1}}{\partial y_{2}}\\  \frac{x_{2}}{\partial y_{1}}&\frac{x_{2}}{\partial y_{2}}\\ \end{vmatrix}$$ 를 구해 pdf에 곱한다.

6.  변환된 MGF를 구하는 방법
   
   1) X와 Y의 관계식을 이용해 변환된 $e^{t(y)}$ 꼴을 구한다.
   
   ${(1)}$ 예를 들어, $Y = X_{1} + X_{2}$ 라고 한다면, $e^{t(y)} = e^{t(x_{1} + x_{2})}$
   
   2) $E[e^{t(x_{1},x_{2})}]$를 x의 pdf에 넣어서 푼다.
   
   ${(1)}$ 예를 들어, $\int \int e^{t(x_{1} + x_{2})}f_{x_{1},x_{2}}dx_{1}dx_{2}$ =$[\int e^{tx_{2}}f_{x_{2}}dx_{2}] \cdot [\int e^{tx_{2}}f_{x_{2}}dx_{2}]$
   
   ${(2)}$  Y로 변수변환 하지 않았으므로 변환 야코비안은 구하지 않는다.
   
   3) MGF 변환 기법은 뒤에 확률분포의 수렴을 증명할 때 자주 쓰이는 테크닉이므로 방법론을 숙지해두면 이해하는데 도움이 된다.