19. 우도와 최대우도추정량

1. 추정량과 최대우도추정량
   1) 추정량이란 모수를 추정케하는 통계량과 연관된 개념이다.
   
   ${(1)}$ 확률변수 X에서 추출한 확률표본 $[X_{1}, X_{2}, ..., X_{n}]$이 있다고 가정하고, 이 확률표본의 함수인 통계량을 $T = T($[X_{1}, X_{2}, ..., X_{n}]$)$라고 하자.
   -. 이 때, T로 모수 $\theta$를 추정할 수 있다면, 이 T를 모수 $\theta$에 대한 추정량이라고 표현한다.
   
   2) 최대우도추정량이란 최대우도법이란 테크닉을 이용하여 구한 추정량이다.
   
   ${(1)}$ 우도(혹은 가능도, likelihood)란, 확률표본들의 실현값들이 주어졌을때(즉, 우리가 관찰 가능한 데이터가 주어졌을 때) 이 데이터가 특정 모수를 가진 분포에서 나왔을 척도를 나타낸다. 
   -. 한편, 우도는 확률이 아니기 때문에 0 ~ 1 사이의 범위를 가질 필요는 없다. 1 초과의 수가 나올수도 있다.
   -. 우도를 계산하기 위한 우도함수는 아래와 같이 나타낼 수 있다.
   
   

   모수 $\theta$를 따르는 확률변수 X에서 추출한 확률표본 $[X_{1}, X_{2}, ..., X_{n}]$의 결합분포의 pdf를 아래와 같이 정의하자. $$\prod_{i=1}^{n}f(x_{i};\theta)$$ 이 때, 우도함수 $L(\theta)$는 아래와 같이 정의 가능하다 $$L(\theta) = \prod_{i=1}^{n}f(\theta;x_{i})$$ 모수 $\theta$와 $x_{i}$의 위치가 바뀐것에 주목하자. 즉,  확률표본의 관측값 $x_{i}$이 주어졌을때의 모수 $\theta$에 대한 확률 함수의 결합이다.

   
   ${(2)}$ 최대우도법이란 어떤 분포가 가진 모수 $\theta$를 가장 잘 추정하도록 하는(= 우도가 가장 높은) 통계량을 제시하는 방법론이다.

   데이터(파란색 히스토그램)가 주어졌을 때, 이 데이터는 어느 확률변수에서 추출되었을까? 평균을 78.6 -> 86.6 -> 88.6 -> 90.6 으로 움직이면서 우도(로그우도)를 계산하면 평균이 88.6일때 우도값은 55882로 가장 크다. 즉, 데이터로부터 우리는 이 데이터가 $N(88.6, 0.128^{2})$ 로부터 추출되었음을 추론해낼 수 있다.

   
   ${(3)}$ 최대우도법을 활용하여 최대우도추정량을 구하는 방법론은 아래와 같다.
   
   

   우도함수를 정의한다. 즉 $$L(X; \theta) = \prod_{i=1}^{n}(x_{n};\theta)$$

   우리의 목표는 $L(X; \theta)$를 최대화하는 $\theta$를 구하는 것이다. 즉, $\theta = Argmax[L(\theta)]$ 라는 함수를 푼다.

   한편, 우도함수를 그대로 활용하기에는 이 함수는 곱 $\prod$로 이루어져 있으므로 다루기가 매우 까다롭다. 로그함수는 단조함수이자 순증가하는 함수이고, 곱의 연산을 합의 연산으로 바꾸기 때문에 계산을 용이하게 한다. 다시 말해 $$l(x_{n} ; \theta) = log[L(\theta)]$$ 라고 할 때 $l(x_{n};\theta)$를 최대화 하는것은 $L(\theta)$를 최대화 하는것과 동치이다.  이를 특별히 로그우도함수라고 부른다.

   최대우도추정값은  $\frac{\partial l(\theta)}{\partial \theta} = 0$ 의 방정식을 풀어서 도출한다.

   -. 물론, 정류점을 최대우도지점으로 도출한다는 아이디어는 우도함수 $L(\theta)$ 가 단조성을 가진다는 증명이 우선되여야 한다.
   -. 우도함수가 단조성을 가진다는 증명은 대수의 법칙을 학습한 후 시도한다.
   
   
2. 예시로 보는 최대우도추정법
   1) $[X_{1}, ..., X_{n}]$을 다음 pdf를 따르는 분포에서 추출한 확률표본이라고 하자.

   $$f(x;\theta) = \frac{1}{\sqrt{2\pi}\sigma} \cdot exp\{-\frac{1}{2}(\frac{x-\mu}{\sigma})^{2}\}$$ 즉, 확률변수 X는 정규분포를 따른다.

   
   ${(1)}$ 모수 $\mu$에 대한 최대우도추정량을 구하라
   
   

   $\theta = (\mu, \sigma)$의 벡터로 정의할 때  정규분포의 우도함수는 아래와 같이 정의 가능하다. $$L(\theta;x_{i}) = \prod^{n} \frac{1}{\sqrt{2\pi}\sigma} \cdot exp\{-\frac{1}{2}(\frac{x_{i}-\mu}{\sigma})^{2}\}$$ 이를 로그우도함수로 바꾸면 $$l(\theta;x_{i}) = log(\prod^{n} \frac{1}{\sqrt{2\pi}\sigma} \cdot exp\{-\frac{1}{2}(\frac{x_{i}-\mu}{\sigma})^{2}\})$$ $$ = \sum^{n} log(\frac{1}{\sqrt{2\pi}\sigma} \cdot exp\{-\frac{1}{2}(\frac{x_{i}-\mu}{\sigma})^{2}\})$$ $$= -\frac{n}{2}log(2\pi) - nlog\sigma - \frac{1}{2}\sum^{n}(\frac{x_{i} - \mu}{\sigma})^{2}$$ 구한 로그우도함수를 우리가 원하는 $\mu$에 대하여 편미분하면 $$\frac{\partial l(\theta)}{\partial \mu} = -\sum^{n}(\frac{x_{i} - \mu}{\sigma} ) \cdot (-\frac{1}{\sigma}) = 0$$ 위 방정식을 풀기위해 상수항을 전부 좌변으로 이항하면 $$ = -\sum^{n}(\frac{x_{i} - \mu}{\sigma} ) = 0 $$ $$ = -n\mu \cdot \sum^{n}(x_{i}) = 0$$ 이제, 방정식을 $\mu$에 대한 식으로 정리하면 $$ \mu  = \frac{\sum^{n}(x_{i})}{n} = \overline{x} $$  즉, 평균은 정규분포의 모수 $\mu$(모평균)의 최대우도추정량이다.

   
   ${(2)}$ 모수 $\sigma$에 대한 최대우도추정량을 구하라
   
   

   위에서 구한 로그우도함수를 우리가 원하는 $\sigma$에 대하여 편미분하면 $$\frac{\partial l(\theta)}{\partial \sigma} = -\frac{n}{\sigma} + \frac{1}{\sigma^{3}} \sum^{n}(x_{i} - \mu)^{2} = 0$$ 위 방정식을 풀기위해 상수항을 전부 좌변으로 이항하면 $$ = \frac{n\sigma^{3}}{\sigma} = \sum^{n}(x_{i} - \mu)^{2}$$ 이제, 방정식을 $\sigma$에 대한 식으로 정리하면 $$ \sigma^{2}= \frac{\sum^{n}(x_{i} - \mu)^{2}}{n} $$ 한편, 위에서 우리는 $\mu$의 최대우도추정량이 $\overline{x}$임을 밝혔으므로, 이를 대체하면 $$ \sigma^{2}= \frac{\sum^{n}(x_{i} - \overline{x})^{2}}{n} $$ 즉, 표본분산은 모분산의 최대우도추정량이다.