문과생 네버랜드의 데이터 창고

독립의 엄밀한 정의 1) pdf에서 두 확률분포가 독립인 경우 $f(x_{1}, x_{2}) = f(x_{1}) \cdot f(x_{2})$로 나타낼 수 있다. 즉, 독립인경우 각각의 확률변수를 갖는 pdf로 인수분해가 가능하다 ${(1)}$ 위와 같이 나타낼 수 있는 이유는 다음과 같다. -. $f(x_{1}, x_{2}) = f(x_{2} | x_{1})f(x_{1})$으로 표현할 때 -. $f(x_{2})$ = $\int_{-\infty}^{\infty}f(x_{1},x_{2})dx_{1}$ = $\int_{-\infty}^{\infty}f(x_{2} | x_{1})f(x_{1})dx_{1}$ -. 이 때, $f(x_{2}|x_{1})$이 $x_{1}$에 대해 종속되지 않는다고 할 때 = $f(x_..

논문 요약 Time-Series Anomaly Detection Service at Microsoft (arxiv.org) 1) 이상 탐지(Anomaly Detection)을 수행하는 알고리즘 2) 원본 시계열을 Spectral Residual 처리를 통해 이상점만 도드라지게 만든 후, CNN을 활용해 이상 여부를 감별 3) 이 과정에서 라벨링을 자동으로 수행하기 때문에 별도의 라벨링이 필요하지 않는 semi-supervised Learning을 수행 4) 비교군 대비 30% ~ 90% 향상된 점수(F1-Score 기준)을 보여 압도하는 성능을 보여주었다. 서론 1) 이상탐지(Anomaly Detection)은 데이터에서 예상치 못한 이벤트를 발견하는 방법론이다 2) 마이크로소프트는 자시의 검색서비스 B..

공분산과 상관계수 1) 공분산은 X와 Y가 함께 변해갈때의 기댓값을 말한다. ${(1)}$ 수학적으로는 $COV(x,y)$ = $E[(x-\mu_{x})(y-\mu_{y})]$로 정의할 수 있다. ${(2)}$ 위 식을 정리하면 아래와 같이 논리를 전개할 수 있다. -. $E[(x-\mu_{x})(y-\mu_{y})]$ = $E[xy-y\mu_{x}-x\mu_{y}+\mu_{x}\mu_{y}]$ = $E[xy]-\mu_{x}E[y]-\mu_{y}E[x]+E[\mu_{x}\mu_{y}]$ -. 이 때, $\mu_{x}E[y] = \mu_{x}\mu_{y}$이고, $E[\mu_{x}\mu_{y}]$ = $\mu_{x}\mu_{y}$ 이므로 소거되며, 최종적으로 정리하면 $$E[(x-\mu_{x})(y-\mu..

정류점이란? 1) 어떤 함수의 정의역 $x = c$ 근처에서 가장 높은 함수값을 가지는 지점을 국소 최대(극대점), 가장 낮은 함수값을 가지는 지점을 극소점이라고 한다 2) 극대점, 극소점이 전체 함수에서 가장 높거나 가장 낮은 지점이라면, 그 지점을 최대점 혹은 최소점이라고 표현한다 3) 최대점 혹은 최소점은 함수에서 기울기 = 0인 지점(정류점), 미분이 없는 지점(거친점), 정의역의 (양)끝점에서 생성될 수 있으며, 이 때 이 지점들을 임계점이라고 표현한다. 4) 모든 정류점과 거친점, 정의역의 양 끝점에서 f(x)를 구하고, 그 중 최대 / 최소인 지점이 바로 최대점 / 최소점이다 정류점과 이계도함수 1) $f{(x)}$를 1계 미분한 $f'(x)$는 기울기를 나타낸다 ${(1)}$ $f'{(x)..

다변량 분포란? 1) 두 개 이상의 확률변수가 결합된 분포를 의미한다 ${(1)}$ 두 개 이상의 확률변수를 다루기 때문에, 이를 한번에 처리하기 위한 방법으로 선형대수학적 방법론을 활용한다. ${(2)}$ 본격적으로 벡터와 같은 다변수 방법론을 차용한다. 2) 표본공간 e에서 확률변수 $x_{1}, x_{2} ... x_{n}$이 있을 때 $ D = \begin{bmatrix} x_{1}\\...\\x_{n} \end{bmatrix}$인 벡터를 확률벡터라고 한다. 3) 표기법은 다음과 같다. ${(1)}$ 이 때, A를 D의 부분집합이라고 한다면, 이를 표기할 때 $P_{x_{1},x_{2}...,x_{n}}(A)$로 표기한다. 결합분포의 결합누적분포함수(CDF) 1) 일변량 확률변수와 마찬가지로, 다..

조건부 분포란? 1) 결합 확률변수에서 다른 한 쪽의 확률변수가 조건부로 주어졌을 때의 분포 ${(1)}$ 구체적으로는 다음의 PDF를 갖는 분포를 말한다. -. $f_{x_{1}|x_{2}}(x_{1}|x_{2}) = \frac{f_{x_{1},x_{2}}(x_{1},x_{2})}{f_{x_{2}}(x_{2})}$ ${(2)}$ 이와 같이, 조건부 분포에 대해 PDF는 물론이고 누적분포함수(CDF)와 적률생성함수(MGF)등을 정의할 수 있다. 조건부 분포의 평균과 분산 1) 조건부 분포의 적률도 일변량때와 마찬가지로 구할 수 있다. ${(1)}$ 평균(1차적률) : $E(x_{1}|x_{2}) = \int x_{1} \cdot \frac{f_{x_{1},x_{2}}(x_{1},x_{2})}{f_{x_{..

정의 1) 함수의 증분 $\Delta x$, $\Delta y$를 거의 따라가는 접선의 변화량 $dx$, $dy$를 미분소라고 한다. 2) 이 때, 위 그림에서 $\Delta x$에 따른 함수의 변화량은 $\Delta y$ 이다. 즉 $$ \Delta y = f(x + \Delta x) - f(x)$$ 3) 이 때, $dx$에 따른 접선의 변화량은 $dy$ 이다. 즉 $$ dy = f(x) + f'(x)\Delta x $$ 4) 정의역 x의 변화량은 $\Delta x = dx$로 같지만, y의 변화량은 $\Delta y$와 $dy$가 그 오차만큼 차이가 난다. => 다시 말해, $\Delta y$는 함수에 가까운데 비해 $dy$는 접선에 더 가깝다. 예시로 보는 미분소 1) $y = x^{2}$은 $\f..

추천시스템이란? 1. 추천은 인류의 삶과 항상 함께해왔다 -. 예를 들어, '내가 지금 결혼 적령기인데 어떤 반려를 만나야 내가 행복해질 수 있을까?', '농사를 지어야하는데 지금 나한테 가장 적합한 품종은 무엇인가?'는 항상 고대부터 인류를 고민케 했던 질문이었다. -. 이런 질문을 해결해주기 위해, 인류는 중매, 영매사, 혹은 대규모 치수를 담당하는 중앙 정부와 같은 추천 시스템을 통해 적절한 추천 결과를 얻고 삶의 최적화를 수행해 왔다. 2. 통계학, 수학과 같은 이론적 발달에 더해 컴퓨터 과학의 발전으로, 추천 문제는 점점 인간이 수행하는 영역에서 컴퓨터가 알고리즘으로 수행하는 영역으로 들어오기 시작했다. -. 2000년부터 2015년까지, 인터넷 사용자는 738만명에서 3.2억명까지 폭증하였고,..