문과생 네버랜드의 데이터 창고

기댓값 최대화 알고리즘이란? 1) 지금까지 관측된 확률표본 $[X_{1}, \dots, X_{n}]$을 이용하여 최대우도추정량을 구한뒤, 이를 이용하여 추정이나 검정을 수행하는 방법론을 살펴보았다. 2) 문제는, 현실의 대다수의 문제는 현실에서 실제로 관측되지 않은 많은 확률변수에 의존한다는 것이다. ${(1)}$ 기계 장치가 여전히 가동중인 상태에서 최대우도추정을 수행해야하는 상황 ${(2)}$ 수집한 몇몇 데이터가 누락되어 있는 상황에서 최대우도추정을 수행해야 하는 상황 3) 이런 경우, 관측되지 않은 확률변수도 식에 포함하여 완전한 우도함수를 구해 최대우도추정량을 구해야한다. ${(1)}$ 그러나 이런 경우 다음의 문제가 발생하게 된다. -. 관측된 확률변수들과 잠재된 확률변수간에 (보통)깊은 연관..

단변량에서 다변량으로 확장 1) 다중 모수에서의 우도비 검정 ${(1)}$ $\theta = [\theta_{1}, \theta_{2}, \dots, \theta_{n}]$인 모수 벡터 $\theta$를 정의하자. -. 이 때, 특정 모수에 대하여 연구자가 다음의 가설을 내세웠다고 하자. $[\theta_{1}, \dots, \theta_{p}]$라는 $\theta$에 부분집합에 대하여 다음은 참일 것이다 $\theta_{1} = \widehat{\theta}_{0} / , \dots, / \theta_{n-p} = \widehat{\theta}_{p}$ ${(2)}$ 이와 같이 모수에 대해 어떤 주장을 내세움으로서, 모수 공간 전체에 어떤 영향을 미칠 수 있다. -. 다중 모수(중 일부)에 대하여 어떤..

단변량에서 다변량 MLE로 확장 1) 단변량에서 최대우도추정량을 구하는 방법을 살펴보았다. 2) 이제, 이 방법론을 다변량에 대해서 구하는 방법으로 확장한다. 다변량 모수의 최대우도추정 1) $[X_{1}, \dots X_{n}]$을 공통 pdf $f(X;\theta)$를 갖는 i.i.d라고 하자. 2) 그 우도함수와 로그우도함수는 다음과 같이 나타낼 수 있다. ${(1)}$ 우도함수 $$ L(\theta) = \prod_{i=1}^{n} f(x_{i};\theta) $$ ${(2)}$ 로그우도함수 $$l(\theta) = \sum_{i=1}^{n} log f(x_{i};\theta)$$ 3) 이 때, 우리가 알고있는 모수의 집합 $[\theta_{1}, \dots, \theta_{n}]$ 에 대하여 다..

최대우도법과 우도비검정 1) 최대우도법이란 ${(1)}$ 최대우도추정량에서 우도를 다음과 같이 설명하였다. 우도(혹은 가능도, likelihood)란, 확률표본들의 실현값들이 주어졌을때(즉, 우리가 관찰 가능한 데이터가 주어졌을 때) 이 데이터가 특정 모수를 가진 분포에서 나왔을 척도를 나타낸다. 모수 $\theta$를 따르는 확률변수 X에서 추출한 확률표본 $[X_{1}, X_{2}, ..., X_{n}]$의 결합분포의 pdf를 아래와 같이 정의하자. $$\prod_{i=1}^{n}f(x_{i};\theta)$$ 이 때, 우도함수 $L(\theta)$는 아래와 같이 정의 가능하다 $$L(\theta) = \prod_{i=1}^{n}f(\theta;x_{i})$$ 모수 $\theta$와 $x_{i}$의 ..

라오-크래머 하한 부등식 1) 불편추정량의 질을 어떻게 측정할 것인가? ${(1)}$ 불편추정량을 다음과 같이 정의하였다. 이때, 통계량과 모수를 연결짓는 징검다리로서 불편추정량이란 개념이 등장한다. ${(1)}$ 불편추정량의 개념은 아래와 같다. -. 모수 $\theta$를 갖는 $pdf(f; \theta)$를 가지는 확률변수 X를 정의하자. -. 이 때, X에서 독립적으로 추출한(i.i.d) 확률표본 $[X_{1},X_{2}, ..., X_{n}]$를 정의하자. -. 이 확률표본을 이용한 통계량 $T = T([X_{1},X_{2}, ..., X_{n}])$를 정의하자. -. 이 때, 이 통계량의 기댓값 $E(T) = \theta$, 즉 그 기댓값이 모수와 같을경우 T를 $\theta$의 불편추정량 이..

중심극한정리의 다변량 확장 1) 단변량에서 중심극한정리를 살펴보았다. -. 한편, 단변량 정규분포가 존재하는가 하면, 이를 다변량에 대하여 일반화한 다변량 정규분포 또한 존재하였다. -. 마찬가지의 논리로, 단변량 중심극한정리를 다변량에 적용하는것도 가능하다. 2) 다변량 확장을 위해 알아야 하는 사실들 ${(1)}$ L2 Norm -. 벡터의 크기를 측정 가능하도록 하는 측도 -. 벡터 $v \in R^{n}$에 대하여 v의 L2 Norm은 다음과 같이 정의할 수 있다. $$ ||v|| = \sqrt{\sum_{i = 1}^{n} v_{i}^{2}} $$ -. 이 때, $v_{i}$는 벡터 v의 $1,\dots,n$ 번째 요소이다 ${(2)}$ 다음의 경우는 단변량에서의 정리가 다변량에서도 공통적으로 ..

중심극한정리의 중요성 1) 중심극한정리의 정의 ${(1)}$ 중심극한정리는 -. (모수를 모르는 어떤 임의의 분포에서) 샘플들을 많이 추출하여 -. 모수를 추정하도록 하는 샘플들의 통계량(즉, 추정량)을 구할 경우 -. 그 통계량은 많은 경우 정규분포로 수렴한다. -. 이 때, 통계량에는 우리가 익히 알고있는 평균 등이 포함된다. 특히 평균은 $N(\mu, \frac{\sigma^{2}}{n})$, 혹은 표준화를 수행할 경우 $N(0,1)$로 수렴한다. ${(2)}$ 엄밀한 정의는 다음과 같이 내릴 수 있다. $[X_{1}, \dots X_{n}]$을 평균 $\mu$와 분산 $\sigma^{2}$인 분포에서 추출한 확률표본의 집합이라고 하자. 다음의 통계량을 정의하자 $$Y = \frac{\sqrt{n}..

분포수렴이란 1) 확률변수가 갖는 자산 중 하나인 '분포'의 수렴에만 집중한 수렴 정의법 ${(1)}$ 엄밀하게 정의하면 다음과 같이 나타낼 수 있다. $[X_{n}]$ 이 확률변수의 집합이고 X가 어떤 확률변수라고 하자. $F_{X_{n}}$과 $F_{X}$를 각각의 확률변수들의 CDF 라고 하자. $C(F_{x})$를 함수 $F_{X}$가 연속인 모든 정의역의 점의 집합이라고 할 때 $$lim_{n \rightarrow \infty} F_{X_{n}} = F_{x}$$(단, X는 $x \in C(F_{X})$에 대하여 유효하다) 가 참이면 $X_{n}$을 $X$에 대하여 분포수렴한다고 하고, 상징적으로 $$X_{n} \overset{D}{\rightarrow} X$$ 로 표현한다. 2) 마찬가지로 확..