문과생 네버랜드의 데이터 창고

단변량에서 다변량으로 확장 1) 결합충분통계량 ${(1)}$ 충분통계량을 다중 모수의 선형결합으로 표현한다. $X_{1}, \dots, X_{n}$이 $\theta \in \mathbb{R}^{p}$ 라고 할 때 $f(x;\theta)$를 pdf 갖는 분포에서 추출한 확률표본이다. 통계량 $Y_{i}$들로 이루어진 다음의 확률벡터를 정의하자 $$\overset{\rightarrow}{Y} = \begin{bmatrix} u_{1}(X_{1}, \dots, X_{n})\\ \dots\\ u_{m}(X_{1}, \dots, X_{n}) \end{bmatrix}$$ 즉, m개의 통계량으로 이루어진 $Y \in \mathbb{R}^{m}$확률벡터이다. 이 때, 확률벡터 Y에 대한 다변량 PDF를 $f_{y} =..

완비성과 완비충분통계량 1) 충분통계량은 왜 배우는 것인가? ${(1)}$ 충분통계량은 가장 좋은 불편추정량인 최소분산불편추정량(MVUE)과 밀접한 관계를 갖고 있다. -. 우리의 목표는 이제 충분통계량과 MVUE 사이를 잇는 가교를 발견하는 것이다. -. 이 가교는 ① 완비성 ② 최소 분산 추정량의 두개의 교각으로 이루어져 있다. -. 그리고, 두 교각을 세우면 마침내 다음과 같은 결론을 내릴 수 있다. 이는 밑에서 증명할 레만-쉐페 정리가 증명한다. 완비성을 갖춘 충분통계량의 함수꼴로 표현된 불편추정량은 그 어떤 다른 불편추정량보다 분산이 작은 유일한 최소분산불편추정량(MVUE)이다. 2) 완비성과 유일성 ${(1)}$ 완비성 연속형 혹은 이산형 확률변수 Z가 모수 $\theta$와 확률변수 z를 다..

충분통계량이란? 1) 충분통계량에 대한 정의와 설명 ${(1)}$ pdf $f(x;\theta)$를 갖는 분포에서 추출한 확률표본인 $[X_{1}, \dots, X_{n}]$ 에서어떤 통계량 $Y_{1} = u(x_{1}, \dots, x_{n})$를 정의하자. 이 통계량은 모수 $\theta$를 추정하고자 한다. ${(2)}$ 이 때, '충분하다'라는 의미는 다음과 같다. -. $X_{1}, \dots, X_{n}|Y_{1}$ 이라는 조건부 다변량 분포를 정의했을 때, 그 pdf는 다음과 같이 나타낼 수 있다. $$\frac{f(x_{1}, x_{2}, \dots, x_{n};\theta)}{f(u(x_{1}, \dots, x_{n});\theta)}$$ -. 만약, 이 조건부 pdf를 정리한 결과가 ..

기댓값 최대화 알고리즘이란? 1) 지금까지 관측된 확률표본 $[X_{1}, \dots, X_{n}]$을 이용하여 최대우도추정량을 구한뒤, 이를 이용하여 추정이나 검정을 수행하는 방법론을 살펴보았다. 2) 문제는, 현실의 대다수의 문제는 현실에서 실제로 관측되지 않은 많은 확률변수에 의존한다는 것이다. ${(1)}$ 기계 장치가 여전히 가동중인 상태에서 최대우도추정을 수행해야하는 상황 ${(2)}$ 수집한 몇몇 데이터가 누락되어 있는 상황에서 최대우도추정을 수행해야 하는 상황 3) 이런 경우, 관측되지 않은 확률변수도 식에 포함하여 완전한 우도함수를 구해 최대우도추정량을 구해야한다. ${(1)}$ 그러나 이런 경우 다음의 문제가 발생하게 된다. -. 관측된 확률변수들과 잠재된 확률변수간에 (보통)깊은 연관..

단변량에서 다변량으로 확장 1) 다중 모수에서의 우도비 검정 ${(1)}$ $\theta = [\theta_{1}, \theta_{2}, \dots, \theta_{n}]$인 모수 벡터 $\theta$를 정의하자. -. 이 때, 특정 모수에 대하여 연구자가 다음의 가설을 내세웠다고 하자. $[\theta_{1}, \dots, \theta_{p}]$라는 $\theta$에 부분집합에 대하여 다음은 참일 것이다 $\theta_{1} = \widehat{\theta}_{0} / , \dots, / \theta_{n-p} = \widehat{\theta}_{p}$ ${(2)}$ 이와 같이 모수에 대해 어떤 주장을 내세움으로서, 모수 공간 전체에 어떤 영향을 미칠 수 있다. -. 다중 모수(중 일부)에 대하여 어떤..

단변량에서 다변량 MLE로 확장 1) 단변량에서 최대우도추정량을 구하는 방법을 살펴보았다. 2) 이제, 이 방법론을 다변량에 대해서 구하는 방법으로 확장한다. 다변량 모수의 최대우도추정 1) $[X_{1}, \dots X_{n}]$을 공통 pdf $f(X;\theta)$를 갖는 i.i.d라고 하자. 2) 그 우도함수와 로그우도함수는 다음과 같이 나타낼 수 있다. ${(1)}$ 우도함수 $$ L(\theta) = \prod_{i=1}^{n} f(x_{i};\theta) $$ ${(2)}$ 로그우도함수 $$l(\theta) = \sum_{i=1}^{n} log f(x_{i};\theta)$$ 3) 이 때, 우리가 알고있는 모수의 집합 $[\theta_{1}, \dots, \theta_{n}]$ 에 대하여 다..

최대우도법과 우도비검정 1) 최대우도법이란 ${(1)}$ 최대우도추정량에서 우도를 다음과 같이 설명하였다. 우도(혹은 가능도, likelihood)란, 확률표본들의 실현값들이 주어졌을때(즉, 우리가 관찰 가능한 데이터가 주어졌을 때) 이 데이터가 특정 모수를 가진 분포에서 나왔을 척도를 나타낸다. 모수 $\theta$를 따르는 확률변수 X에서 추출한 확률표본 $[X_{1}, X_{2}, ..., X_{n}]$의 결합분포의 pdf를 아래와 같이 정의하자. $$\prod_{i=1}^{n}f(x_{i};\theta)$$ 이 때, 우도함수 $L(\theta)$는 아래와 같이 정의 가능하다 $$L(\theta) = \prod_{i=1}^{n}f(\theta;x_{i})$$ 모수 $\theta$와 $x_{i}$의 ..

라오-크래머 하한 부등식 1) 불편추정량의 질을 어떻게 측정할 것인가? ${(1)}$ 불편추정량을 다음과 같이 정의하였다. 이때, 통계량과 모수를 연결짓는 징검다리로서 불편추정량이란 개념이 등장한다. ${(1)}$ 불편추정량의 개념은 아래와 같다. -. 모수 $\theta$를 갖는 $pdf(f; \theta)$를 가지는 확률변수 X를 정의하자. -. 이 때, X에서 독립적으로 추출한(i.i.d) 확률표본 $[X_{1},X_{2}, ..., X_{n}]$를 정의하자. -. 이 확률표본을 이용한 통계량 $T = T([X_{1},X_{2}, ..., X_{n}])$를 정의하자. -. 이 때, 이 통계량의 기댓값 $E(T) = \theta$, 즉 그 기댓값이 모수와 같을경우 T를 $\theta$의 불편추정량 이..