27. 확률 수렴

1. 확률수렴이란?
   1) 분포의 극한과 수렴
   
   ${(1)}$ $[X_{n}]$을 어떤 확률변수들의 집합이라고 하자. X를 동일한 표본공간에 정의된 확률변수라고 하자.
   -. 이 때, $X_{n}$에서 n을 매우, 무수히, 많이 뽑는다고 가정하자. 요컨데 $n \rightarrow \infty$ 이다.
   -. 이런 경우, 무수히 많은 $X_{n}$은 점차적으로 X라는 확률변수에 가까워질 수 있다.
   
   ${(2)}$ 이 때, 우리는 이 무수히 많이 뽑은 $X_{n}$이 X로 다가가는 현상을 엄밀하게 정의할 필요성이 생긴다.
   -. $X_{n}$이 X로 점차 다가가는 현상을 수렴한다 라고 표현하고, 이 수렴을 정의하기 위한 방법론은 다음 두가지가 있다.
   -. 분포수렴과 확률수렴이 그것이다.
   
   2) 확률수렴
   ${(1)}$ 확률 수렴은 아래와 같이 엄밀하게 정의할 수 있다.

   $[X_{n}]$을 확률변수들의 집합이라 하고, X를 동일한 표본공간에 정의된 확률변수라고 하자. 0보다 큰 어떤 임의의 상수 $\epsilon$에 대하여 다음이 성립한다고 하자. -. $\lim_{n \rightarrow \infty} P[|X_{n} - X| \geq \epsilon] = 0$ 혹은 -.$\lim_{n \rightarrow \infty} P[|X_{n} - X| < \epsilon] = 1$ 이면, $X_{n}$은 $X$에 확률수렴 한다고 하고, 다음과 같은 상징으로 표현한다. $$X_{n} \overset{p}{\rightarrow} X$$

   ${(2)}$ 위 식을 해석하면 다음과 같다.
   
   -. $\epsilon$은 임의의 상수라고 했으므로, 우리가 상상할 수 있는 매우매우 작은 값으로 상정해도 된다. 
   
   -. $|X_{n} - X|$의 차가 이 매우 작은 값보다 클 확률이 0에 수렴한다는 의미는, 모든 확률적 연산에서 어떤 확률변수에서 $\epsilon$보다 떨어진 곳에 $X_{n}$이 위치할 확률은 0에 가까워 진다는 의미이다.
   
   -. 이는 기본적으로 엡실론 - 델타 논법과 궤를 같이한다.
   
   ${(3)}$ 확률수렴의 정의로부터 아래의 따름정리들이 도출된다.
   
   -. $X_{n} \overset{p}{\rightarrow} X$, 또 $Y \overset{p}{\rightarrow} Y$면 $X_{n} + Y_{n} \overset{p}{\rightarrow} X + Y$ 이다.
   

   $\epsilon > 0$이 주어졌다고 하자. 삼각부등식을 이용하면 다음과 같이 나타낼 수 있다. $$|\overline{X_{n}} - X| + |\overline{Y_{n}} - Y| \geq |(X_{n} + Y_{n}) - (X + Y)| \geq \epsilon$$ 확률 부등식으로 변환하면 $$P[|X_{n} - X| \geq \epsilon/2] + P[|Y_{n} - Y| \geq \epsilon/2] \\ \geq P([|\overline{X_{n}} - X| +|\overline{Y_{n}} - Y| \geq \epsilon ] \\ \geq P[|(X_{n} + Y_{n}) - (X + Y)| \geq \epsilon] $$ 이 때, $P[|X_{n} - X| \geq \epsilon/2] +P[|Y_{n} - Y| \geq \epsilon/2]$ 라는 두 항은 정의에서 나타낸 확률수렴의 성질에 따라 0으로 수렴한다. 따라서 $P[|(X_{n} + Y_{n}) - (X + Y)| \geq \epsilon] = 0$ 이므로, 정의는 성립한다.

   
   -. $X_{n} \overset{p}{\rightarrow} X$, 또 $a가 어떤 상수라고 하자$.  $aX_{n} \overset{p}{\rightarrow} aX$ 이다.

   $a \neq 0$이고, 어떤 상수 $\epsilon > 0$ 이라고 하자. $$P[|aX_{n} - aX| \geq \epsilon] = P[|a| \cdot |X_{n} -X| \geq \epsilon] = P[|X_{n} -X| \geq \epsilon/|a|]$$ $\epsilon/|a|$ 또한 0보다 큰 임의의 상수이므로, 이를 새로운 $\epsilon_{1}$로 정의하면 이는 확률수렴의 정의에 따라 0으로 수렴한다.

   
   -. $X_{n} \overset{p}{\rightarrow} a$이며, 어떤 실함수(실수를 정의역, 공역으로 하는 함수) $g(a)$가 a에서 연속인 함수라고 하자. 그러면 $g(X_{n}) \overset{p}{\rightarrow} g(a)$ 이다.

   어떤 상수 $\epsilon > 0$ 이라고 하자. g가 a에서 연속이라고 정의하였으므로, 엡실론 - 델타 논법에 따라  $|x - a| < \delta$ 이면 $|g(x) - g(a)| < \epsilon$인 $\delta > 0$이 존재한다. x를 $X_{n}$으로 대체하고 확률부등식의 형식으로 나타내면 $P[|g(X_{n}) - g(a)| \geq \epsilon] \leq P[|X_{n} - a| \geq \delta]$ 이다. $P[|X_{n} - a| \geq \delta]$는 정의에 따라 확률수렴하므로, 0으로 수렴한다.  따라서  $$P[|g(X_{n}) - g(a)| \geq \epsilon] = 0$$ 이다.

   
   -. 슬러츠키 정리 :  $X_{n} \overset{p}{\rightarrow} X$, 또 $Y \overset{p}{\rightarrow} Y$면 $X_{n} \cdot Y_{n} \overset{p}{\rightarrow} X\cdot Y$ 이다.

   $X_{n} \cdot Y_{n}$을 2차형식으로 나타내면 다음과 같다. $X_{n} \cdot Y_{n} = \frac{1}{2}X_{n}^{2} + \frac{1}{2}Y_{n}^{2} - \frac{1}{2}(X_{n} - Y_{n})^{2}$ 이 때, $\frac{1}{2}X_{n}^{2}$만 따로 때서 보면 아래의 성질이 존재한다. -. 이는 $X_{n}$에 대한 제곱이라는 실함수, 즉 $g(X_{n}) = X_{n}^{2}$ 이다. -. 또한, 확률변수 $X_{n}$ 앞에 상수 a가 붙은 형식이다. 즉, $\frac{1}{2}X_{n}^{2} \overset{p}{\rightarrow} \frac{1}{2}X^{2}$ 이다. 이는 Y도 동일하고, 그 교차항 $\frac{1}{2}(X_{n} - Y_{n})^{2}$도 동일하다. 따라서 $$X_{n} \cdot Y_{n} = \frac{1}{2}X^{2} +\frac{1}{2}Y^{2} - \frac{1}{2}(X - Y)^{2}$$ 이고 이를 다시 정리하면 $X\cdot Y$와 동일하다.

   
   3) 대수의 약법칙
   ${(1)}$ 종종 확률수렴은 확률변수 X를 어떤 확정된 상수 a에서 퇴화된(즉, 확률적 성질이 가미된) 연산으로 본다. 
   -. 다시말해, 확률수렴을 굳이 확률변수 X가 아닌 어떤 특정한 상수 a에 대해서도 다룰 수 있다는 의미이다.
   
   ${(2)}$ 대수의 약법칙은 여러 상수 a중에서도 모평균 $\mu$에 대한 정리이다.

   $[X_{n}]$을 공통 평균 $\mu$와 공통 분산 $\sigma_{2}$을 갖는 i.i.d인 확률변수들의 집합이라고 하자. 이 확률변수를 이용한 통계량을 다음과 같이 정의하자 평균 $\overline{x} = \frac{\sum_{i=1}^{n}X_{i}}{n}$ 이 때, 확률수렴의 형식을 빌려 다음과 같이 표현할 수 있다. $$\overline{x} \overset{p}{\rightarrow} \mu$$

   증명은 다음과 같이 할 수 있다. $\overline{x}$는 $N(\mu, \frac{\sigma^{2}}{n})$을 따른다. 따라서, 확률수렴의 형식을 따온 후, 체비셰프 부등식을 이용하면 아래와 같이 정리할 수 있다. $P[|\overline{x_{n}} - \mu| \geq \epsilon] $ $= p[|\overline{x}_{n} - \mu| \geq (\epsilon\sqrt{n} / \sigma) \cdot (\sigma / \sqrt{n})] \leq \frac{\sigma^{2}}{n\epsilon^{2}}$ 이 때, $n \rightarrow \infty$임에 따라 부등식 우변은 명백하게 0으로 수렴한다. 즉, $lim_{n \rightarrow \infty}[|\overline{x_{n}} - \mu \geq \epsilon|] = 0$ 이므로, 확률수렴의 정의에 따라 $$X_{n} \overset{p}{\rightarrow} X$$ 는 참이다.

   
   4) 일치성과 일치추정량
   ${(1)}$ X의 분포가 CDF $F(x;\theta)$를 가진다고 하고, $[X_{1}, \dots X_{n}]$이 확률표본이고 통계량 $T_{n} = T(X_{1}, dots X_{n})$이라고 하자.
   
   -. 이 때, $T_{n} \overset{p}{\rightarrow} \theta$ 일 때, 이를 $T_{n}$을 $\theta$ 일치추정량이라고 하고, 이런 성질을 일치성이라 한다.
   
   -. 대수의 약법칙도 이런 일치성의 사례중 하나이다.
   
   ${(2)}$ 표본분산의 일치성
   

   $[X_{1}, \dots X_{n}]$을 평균 $\mu$, 분산 $\sigma$인 정규분포에서 추출한 확률표본이라고 하자. $S_{n}^{2}$이 표본분산일 떄 -$S_{n}^{2} = \sum \frac{(X_{i} - \overline{X_{n}})^{2}}{n-1} = \frac{n}{n-1} \cdot \frac{1}{n} \sum(X_{i} - \overline{X_{n}})^{2}$ 이는  전개하면  $$\frac{n}{n-1} (\frac{1}{n}\sum(X_{i})^{2} - 2\overline{X_{n}}\sum(\frac{X_{i}}{n}) + \overline{X_{n}}^{2}) \\ =(\frac{1}{n}\sum(X_{i})^{2} - \overline{X_{n}}^{2}) $$  ① 대수의 약법칙에 따라 $\overline{X_{n}} \overset{p}{\rightarrow} \mu$ 이고, ② $\frac{1}{n}\sum(X_{i})^{2} = \frac{X_{1} + \dots + X_{n}}{n}$ 에서 $\frac{(X_{1} + \dots + X_{n})^{2}}{n} \overset{p}{\rightarrow} \frac{(X + \dots + X)^{2}}{n} = E(X)^{2}$ 이고 ③ $\frac{n}{n-1} \overset{p}{\rightarrow} 1$ 이므로 정리하면 $1 \cdot [E(X^{2}) - \mu^{2}] = \sigma^{2}$ 이로서 표본분산 $S^{2}$은 $\sigma^{2}$의 일치 추정량임을 보일 수 있다.