9. 독립인 확률변수

1. 독립의 엄밀한 정의
   
   1) pdf에서 두 확률분포가 독립인 경우 $f(x_{1}, x_{2}) = f(x_{1}) \cdot f(x_{2})$로 나타낼 수 있다. 즉, 독립인경우 각각의 확률변수를 갖는 pdf로 인수분해가 가능하다
   
   ${(1)}$ 위와 같이 나타낼 수 있는 이유는 다음과 같다.
   -. $f(x_{1}, x_{2}) = f(x_{2} | x_{1})f(x_{1})$으로 표현할 때
   
   -. $f(x_{2})$ = $\int_{-\infty}^{\infty}f(x_{1},x_{2})dx_{1}$
                       = $\int_{-\infty}^{\infty}f(x_{2} | x_{1})f(x_{1})dx_{1}$
   
   -. 이 때, $f(x_{2}|x_{1})$이 $x_{1}$에 대해 종속되지 않는다고 할 때
                       = $f(x_{2} | x_{1})\int_{-\infty}^{\infty}f(x_{1})dx_{1}$  
   
   -. 이 때, 확률분포의 정의에 따라 적분식 안은 1로 소거되며, $f(x_{2})$  = $f(x_{2} | x_{1})$ 이다.
   
   -. $f(x_{2})$  = $f(x_{2} | x_{1}) = \frac{f(x_{1}, x_{2})}{f(x_{1})}$ 이고, 분모를 좌변으로 이항하면 최종적으로
   $$f(x_{1})f(x_{2}) = f(x_{1},x_{2})$$
   
   2) 다시 말해, 독립성에 대해 정의하면 아래와  같이 나타낼 수 있다.

   확률변수 $X_{1}$과 $X_{2}$가 결합 pdf $f(x_{1}, x_{2})$(혹은 결합 pmf $p(x_{1},x_{2})$)를 갖는다고 하자. 각각의 확률변수가 주변 pdf $f(x_{1})$(혹은 pmf $p(x_{1})$과 pdf $f(X_{2})$ (혹은 pmf $ p(x_{2})$) 를 가질 경우 독립은 $f(x_{1}, x_{2})$ = $f_{1}(x_{1}) \cdot f_{2}(x_{2})$(혹은 pmf $p(x_{1}, x_{2})$ = $p(x_{1}) \cdot p(x_{2})$ 꼴로 나타낼 수 있다는 것과 같다. 그렇지 않은 경우 종속이라고 한다.

2. 독립인 확률변수의 성질
   
   1) 독립인 확률변수는 그 CDF도 분리할 수 있다.
   
   ${(1)}$ $F(X_{1}, X_{2}) = \int_{-\infty}^{x_{1}} \int_{-\infty}^{x_{2}}f_{1}(w_{1})f_{2}(w_{2})dw_{1}dw_{2}$
   
   ${(2)}$ 이 때, 두 확률변수가 독립이라면 적분식 분리가 가능하므로
   
   $[\int_{-\infty}^{x_{1}}f_{1}(w_{1})dw_{1}][\int_{-\infty}^{x_{2}}f_{2}(w_{2})dw_{2}]$
   따라서, $F_{1}(x_{1}) \cdot F_{2}(x_{2}) = F(X_{1},X_{2})$ 이다.
   
   
   2) 두 확률변수 $x_{1}$, $x_{2}$ 가 독립인 경우 $p(a \leq x_{1} \leq b, c \leq x_{2} \leq d) = p(a \leq x_{1} \leq b) \cdot p(c \leq x_{2} \leq d)$ 이다.
   
   ${(1)}$ 앞서$x_{1}$, $x_{2}$가 독립인 경우 $F(x_{1}, x_{2})$ = $F(x_{1}) \cdot F(x_{2})$ 임을 보였으므로 
   
   ${(2)}$ $p(a \leq x_{1} \leq b, c \leq x_{2} \leq d) = F(b,d) - F(a,d) - F(b,c) + F(a,c)$(https://neverland251.tistory.com/24 참조)
   
   ${(3)}$ 위 식은 $F_{1}(b)F_{2}(d) - F_{1}(a)F_{2}(d) - F_{1}(b)F_{2}(c) + F_{1}(a)F_{2}(c)$로 표현할 수 있고
   
   ${(4)}$ $[F_{1}(b) - F_{1}(a)][F_{2}(d) - F_{2}(c)]$ 이며, 이는 $P(a \leq x_{1} \leq b) \cdot P(c \leq x_{2} \leq d)$ 와 같다.
   
   3) 두 확률변수$x_{1}$, $x_{2}$가 독립인 경우 $E[u(x_{1}), u(x_{2})] = E[u(x_{1})]\cdot E[u(x_{2})]$ 이다.
   
   ${(1)}$ $E[u(x_{1}, x_{2}]$ = $\int\int u(x_{1})\cdot u(x_{2})f(x_{1},x_{2})dx_{1}dx_{2}$
               =$[\int u(x_{1})f(x_{1})dx_{1}] \cdot [\int u(x_{2})f(x_{2})dx_{2}] = E[u(x_{1})] \cdot E[u(x_{2})]$
   
   ${(2)}$ $u(x_{1})$과 $u(x_{2})$를 각각 MGF $M(t_{1},0)$과 $M(0, t_{2})$로 바꿀경우, $M(t_{1}, t_{2}) = M(t_{1},0) \cdot M(0,t_{2})$임을 보일 수 있다.