16. 혼합분포

1. 혼합분포?
   1) 한 확률변수의 분포가 다른 분포의 영향을 받아 변형될 때 이를 혼합분포라고 한다.
   2) 엄밀한 정의는 아래와 같이 나타낼 수 있다.

   확률변수들의 열 $x_{1}, x_{2}, ..., x_{n}$이 각각 $pdf \ f_{1}, f_{2}, ..., f_{n}$ 을 가지고, 각각이 받침 $s_{1}, s_{2}, ..., s_{n}$을 각각 가진다고 하자. $p_{1}, p_{2}, ..., p_{n}$은 $\sum_{i = 1}^{n} p_{i} = 1$인 상수라 하자. 이 확률변수들의 결합된 혼합분포의 pdf는 아래와 같이 정의할 수 있다. $$f(x) = p_{1}f_{1} + p_{2}f_{2} + ... + p_{n}f_{n} = \sum_{i = 1}^{n}p_{i}f_{i}$$

   ${(1)}$ 이런식으로, 혼합분포를 만드는 과정을 복합(compunding) 이라고 표현한다.
   
   4) 혼합분포의 평균과 분산
   ${(1)}$ 혼합분포의 평균과 분산은 아래와 같이 나타낼 수 있다.

   (결합)평균

   $$E(x) = \sum_{i=1}^{n}p_{i} \int_{-\infty}^{\infty} xf_{i}dx \\ = \overline{\mu} = \sum_{i=1}^{n}p_{i}\mu_{i}$$ 즉, 각각의 확률변수의 평균들의 가중평균이다.

   분산

   $\sum_{i = 1}^{n} p_{i}\sigma_{i}^{2}$ 에서 $$\sum_{i = 1}^{n} p_{i}\sigma_{i}^{2} = \sum_{i = 1}^{n} p_{i} \int_{-\infty}^{\infty}(x-\overline{\mu})^{2}f_{i}dx$$ 이므로 $$\int_{-\infty}^{\infty}(x-\overline{\mu})^{2}f_{i}dx \rightarrow \int_{-\infty}^{\infty}[(x- \mu_{i}) + (\mu_{i} - \overline{\mu})]^{2}f_{i}dx$$ 로 변형하면 $$\sum_{i = 1}^{n} p_{i} \int_{-\infty}^{\infty}[(x- \mu_{i})^{2} + 2(x - \mu_{i})(\mu_{i} - \overline{\mu}) + (\mu_{i} - \overline{\mu})^{2}]f_{i}dx$$ 이다. 각각의 적분으로 분할하면 $$\sum_{i = 1}^{n} p_{i} [\int_{-\infty}^{\infty}(x- \mu_{i})^{2}f_{i}dx + \int_{-\infty}^{\infty}2(x - \mu_{i})(\mu_{i} - \overline{\mu})f_{i}dx + \int_{-\infty}^{\infty}(\mu_{i} - \overline{\mu})^{2}]f_{i}dx]$$ 이고,  이 중 교차항 $$\int_{-\infty}^{\infty}2(x - \mu_{i})(\mu_{i} - \overline{\mu})f_{i}dx $$ 은 $$E(x_{i}-\mu_{i}) = 0$$이기 때문에 0과 같다.  $$\sum_{i = 1}^{n} p_{i} [\int_{-\infty}^{\infty}(x- \mu_{i})^{2}f_{i}dx + \int_{-\infty}^{\infty}(\mu_{i} - \overline{\mu})^{2}]f_{i}dx] \\ = \sum_{i = 1}^{n} p_{i}\sigma_{i}^{2} + \sum_{i = 1}^{n} p_{i}(\mu_{i} - \overline{\mu})$$이다. 즉 각 확률변수의 분산의 가중합에 더하여 표준오차의 가중합도 더한 형태이다.

2. 무한개의 분포의 합으로 일반화
   1) 유한개의 확률변수의 선형결합이 아닌, (이론상) 무한개의 확률변수의 합으로 일반화를 수행할 수 있다.
   
   2) 이 경우, 이산합이 아니라 적분을 사용하여 pdf를 표현한다.
   
   ${(1)}$ 이를 통해, 어떤 분포의 모수가 다른 확률분포에 의존하는 새로운 혼합분포의 통계량을 구할 수 있다.
   
   3) 예시를 통한 무한개 분포의 합
   ${(1)}$ 푸아송 분포의 평균을 나타내는 모수 $\theta$가 $\Gamma(\alpha, \beta)$를 따른다고 하자.
   
   -. 이때, 위에서 정의한 혼합분포를 X라 할 때, 이 혼합분포의 pdf는 아래와 같이 구할 수 있다.

   $$P(X) = \int_{0}^{\infty} P(X|\theta)P(\theta) d\theta \\ = \int_{0}^{\infty} [\frac{\theta^{x}e^{-\theta}}{x!}] \cdot [\frac{1}{\Gamma(\alpha)\beta^{\alpha}}\theta^{\alpha - 1}e^{-\frac{\theta}{\beta}}] d\theta$$ 이 중, 앞쪽의 대괄호에 들어있는 항은 $Poisson(\theta)$의 pdf $P(X|\theta)$ 이고, 뒤쪽 대괄호에 들어있는 항은 $\Gamma(\alpha, \beta)$의 pdf $P(\theta)$이다.

   이 식을 $\theta$에 대하여 적분하면 $$\int_{0}^{\infty} [\frac{\theta^{x}e^{-\theta}}{x!}] \cdot [\frac{1}{\Gamma(\alpha)\beta^{\alpha}}\theta^{\alpha - 1}e^{-\frac{\theta}{\beta}}] d\theta $$ $$ = \frac{1}{\Gamma(\alpha)\beta^{\alpha}x!} \int_{0}^{\infty} \theta^{\alpha+x-1}e^{-\frac{\theta(1+\beta)}{\beta}}d\theta$$

   이 때, $t = \frac{\theta(1+\beta)}{\beta}$로 변수변환을 수행하면 $|J| = \frac{d\theta}{dt} = \frac{\beta}{1+\beta}$ 이기 때문에 $$\frac{1}{\Gamma(\alpha)\beta^{\alpha}x!}\int_{0}^{\infty} \theta^{\alpha+x-1}e^{-\frac{\theta(1+\beta)}{\beta}}d\theta \\ = \frac{1}{\Gamma(\alpha)\beta^{\alpha}x!}\int_{0}^{\infty} (\frac{\beta t}{1+\beta})^{\alpha+x-1}e^{t}\frac{\beta}{1+\beta}dt \\ = \frac{1}{\Gamma(\alpha)\beta^{\alpha}x!}(\frac{\beta}{1+\beta})^{\alpha+x} \int_{0}^{\infty} t^{\alpha+x-1}e^{t}dt$$

   이 때, $\int_{0}^{\infty} t^{\alpha+x-1}e^{t}dt = \Gamma(\alpha + x)$와 같으므로 정리하면 $$\frac{\Gamma(\alpha + x)\beta^{x}}{\Gamma(\alpha)x!(1+\beta)^{\alpha + x}}$$

   
   -. 위 pdf를 따르는 혼합분포는 푸아송분포와 감마분포의 혼합 분포이면서, 동시에 베이지안 통계학에서 푸아송 분포의 사후 분포(Posterior Distribution)가 된다.