문과생 네버랜드의 데이터 창고

푸아송 분포란 무엇인가?1) 자연계에서 어떤 정의된 구간 h에서 사건이 x회 발생할 확률을 모델링한 분포이다.${(1)}$ 정의만 보면 다소 추상적인데, 구체적인 예시로 표현하면 아래의 것들로 구체화할 수 있다.-. 단위 시간(h) 내에 발생하는 자동차 사고 횟수 x회 발생할 확률-. 단위 시간(h) 내에 청구되는 보험금 횟수가 x회일 확률2) 단위시간이 무슨 의미인가를 구체화하기 위해선 푸아송 과정이라는 개념에 대해서 면밀히 살펴봐야 한다.  푸아송 과정푸아송 과정을 정의하는 방법은 ①이항분포를 이용하는 방법과, ②분포와 무관하게 해석학적 방법을 활용하는 두 방법으로 나눌 수 있다.가장 범용적인 정의 방법인 이항분포를 사용한 방법부터 먼저 살펴보면 다음과 같다.1) 이항분포를 활용한 푸아송 과정${(1..

적분이란? 1) 함수 $f(x)$가 있을 때, 그 함수 $f(x)$의 각점 $x$에서의 값을 모두 더한 값을 정확하게 구하는 방법이다 $\delta x$가 0으로 수렴함에 따라, 곡선 $f(x)$ 위의 빨간색 면적(=오차)는 점차 줄어들고, 옳은 면적(=파란색)은 점차 정확해진다. 2) 예시로 보는 적분의 이해 ${(1)}$ 속도 : $V_{1}$, $V_{2}$, $V_{3}$, $V_{4}$ = 1,2,3,4이고 거리 : $f_{1}$, $f_{2}$, $f_{3}$, $f_{4}$ 라고 할 때 -. 속도 : $V_{1} = f_{1} - f_{0}$, $V_{2} = f_{2} - f_{1}$, $V_{3} = f_{3} - f_{2}$, $V_{4} = f_{4} - f_{3}$ -. 거리 : $..

기존 자연어 처리(NLP) 분야에서 주로 쓰이던 RNN계열 알고리즘 시대를 종식시킨 트랜스포머 알고리즘을 다룬 논문 순차적으로 직전 Hidden State를 입력받아 이번 Hidden State를 생성하는 RNN계열 알고리즘의 특성상 장기의존성 문제가 뼈아픈 Pain Point로 작용 1) 이를 해결하기 위해 현재 시퀀스(ex. '나는 빵집에 간다' 중 '빵집에')에 가장 가까운 시퀀스('간다')를 모델이 학습과정에서 좀 더 면밀하게 주목(Attention)하도록 하는 Attention Mechanism을 RNN계열 알고리즘 위에 덧붙이는 시도가 주로 이루어졌음 2) 이는 성공적인 시도였으나, 여전히 장기의존성문제를 겪는 RNN 계열 알고리즘에 의존한다는 근본적인 한계점이 존재. 트랜스포머 알고리즘은 R..

사인 함수의 역함수와 역함수의 도함수 1) $y = sin(x)$일 때 sin값 y에 따른 x의 각은 $sin^{-1}(y)$로 표현한다. 이를 arcsin이라고 한다. 2) 이 때, 계속 반복되는 주기성을 갖는 사인 함수의 특성상 정의역을 제한하지 않으면 전단사 조건을 만족할 수 없다. $({1})$ 예를 들어, $sin(x) = 0$를 정의할 때, $sin^{-1}(0)$을 만족하는 x는 정의역이 제한되지 않을경우 무수히, 매우 많다. $({2})$ 따라서, arcsin을 정의할 때 보통 정의역을 $$ 사이로 엄격하게 제한한다. 주기성을 가지는 사인함수의 특성상 sin(x) = 0인 무수한 정의역 x가 존재한다(빨간색 실선). 3) arcsin의 도함수를 구하면 아래와 같다. ${(1)}$ $x = ..

역함수란 무엇인가 1) 원함수의 정의역을 치역으로 갖는 함수를 다시 정의할 경우, 이 함수를 역함수라고 한다 2) 즉, $y = g(x)$ 이고, $x = f(y)$라고 할 때 $f(g(x)) = x$의 관계를 성립하도록 하는 $f(y)$를 역함수라고 하고, 역관계를 보다 엄밀하게 드러내기 위해 $$x = f(y) = g^{-1}(y)$$로 표현한다. 역함수의 성질 1) 역함수는 서로 역이 성립한다 ${(1)}$ 즉, $x = g^{-1}(y)$ 일 때 $y = g(x)$ 라고 한다면 $y = g(x)$ 일 때 $x = g^{-1}(y)$ 이다. 2) 역함수의 도함수와 원함수의 도함수의 곱은 1이다 ${(1)}$ $x = f(y) = g^{-1}(y)$ 라고 한다면 ${(2)}$ $\frac{f(g(x)..

시작 : 베르누이 분포 1) 이항분포는 베르누이 분포의 일반화 꼴이다. 따라서 시작은 베르누이 분포부터 확인해야한다 2) 표본공간이 성공($X(성공) = 1$) 혹은 실패($x(실패) = 0$)으로 이루어져 있는 이산형 분포 3) 이 때, 이항분포의 확률질량함수(PMF)는 아래와 같다 $p(x) = p^{x}(1-p)^{1-x} \quad where \ x = \{0,1\}$ 4) 기댓값과 분산은 $\mu$ $E(X) = \sum_{0}^{1} xp(x) = 0 \cdot p^{0}(1-p)^{1} + 1 \cdot p^{1} = P$ $var(x)$ $E[(X-\mu)^{2}]=\sum(x-\mu)^{2}p(x) = (1-p)^{2}p^{1}(1-p)^{0} + (0-p)^{2}p^{0}(1-p)^{1..

정의 1) 변수들이 서로 밀접하게 연관이 되어있어 한 변수만의 미분이 어려운 $f(x,y) = 0$꼴의 함수를 미분하는 방법 2) y를 x에 대해(혹은 x를 y에 대해) 명시적으로 풀지 않고도 연쇄 법칙을 이용해 미분이 가능하다 3) 일반적인 양함수 $f(x)$를 미분하는 방법과는 달리 기울기를 알기 위해선 x와 y의 두개의 값 모두가 필요하다 예시로 보는 음함수 미분법 1) $y^{5} + xy = 3$ 이라는 함수에 대해서, 이는 x와 y가 밀접하게 연관된 방정식이기 때문에 y에 대한 꼴로 정리하기가 어렵다(즉, 음함수이다) 2) 이 함수를 y에 대한 방정식으로 가정하고 x에 대해 미분을 하면 $\frac{y^{5} + xy}{dx}$ 는 연쇄법칙을 활용하여 $({1})$ $\frac{y^{5}}{d..

연쇄법칙 1) 합성함수의 미분법으로, 합성함수의 가장 내부에 있는 변수의 변화가 외부 함수의 변화에 어떤 정도의 영향을 미치는지를 기울기로 표현하는 것 2) 중간값 정리에 따라, $x \rightarrow \Delta x$ 일수록 $\frac{\Delta y}{\Delta x}$는 점차 $\frac{dy}{dx}$로 수렴하고, 마찬가지로 외부 함수도 $y \rightarrow \Delta y$ 일수록 $\frac{\Delta z}{\Delta y}$는 점차 $\frac{dz}{dy}$로 수렴한다. 시스템으로서 z = f(g(x))와 그 미분의 그래프 3) 예시를 통한 정의는 아래와 같다. $g(x)$가 x에서 도함수가 존재하고 $f(y)$가 $y=g(x)$에서 도함수가 존재한다고 가정하자. 그러면 $z=..

정의 1) 다변량 확률변수에서 역변환이 정의 가능할 때(즉 역함수가 존재할 때) 역변환으로 함수를 재정의 하는것을 변환이라고 한다 2) $y_{1} = u_{1}(x_{1}, x_{2}, ... x_{n})$, $y_{2} = u_{2}(x_{1}, x_{2}, ..., x_{n})$, ... , $y_{n} = u_{n}(x_{1}, x_{2}, ..., x_{n})$을 정의할 때 ${(1)}$ $x_{1} = w_{1}(y_{1}, y_{2}, ..., y_{n})$, $x_{2} = w_{2}(y_{1}, y_{2}, ..., y_{n})$, ... ,$x_{n} = w_{n}(y_{1}, y_{2}, ..., y_{n})$이라는 역함수를 정의할 수 있으면 ${(2)}$ 함수와 역함수는 다음과 같은..

공분산 행렬 $\overrightarrow{x}=\begin{bmatrix} x_{1}\\... \\x_{n} \end{bmatrix}$인 확률벡터를 정의하자. 1) 이 때, 확률변수 X의 평균 $\mu = E(x)$일 때, 분산-공분산 행렬 Cov(x) ${(1)}$ $Cov(x) = E[(x-\mu)(x-\mu)^{T}]$ = $[\sigma_{ij}]$ 이다. 즉 ${(2)}$ $\begin{bmatrix} \begin{bmatrix} x_{1}\\... \\x_{n} \end{bmatrix} - \begin{bmatrix} \mu_{1}\\... \\ \mu_{n} \end{bmatrix} \end{bmatrix} \cdot \begin{bmatrix} \begin{bmatrix} x_{1}\\...

평균값 정리 1) 증분에 대한 전체적인 것(즉, $\frac{\Delta y}{\Delta x}$) 과 국소적인 것(즉, $\frac{dy}{dx}$)을 연결시키는 정리 2) 어떤 구간(예를 들면, 아래 그림의 0 ~ b까지의 구간)의 전체 기울기와 어느 한 지점의 순간 기울기($f'(c)$)가 일치되는 지점 c가 그 구간내에 반드시 존재한다는 정리이다. 3) 위와 같은 그래프를 갖는 함수 $f(x)$가 있다고 할 때 ${(1)}$ $\frac{\Delta y}{\Delta x} = \frac{f(b) - f(0)}{b-0}$ 일 때, 0 ~ b 구간내에서 이 함수의 기울기는 최종적으로 기울기가 0이다(함수값이 0에서 결국 0으로 간다). ${(2)}$ 순간적인 기울기 변화인 $\frac{dy}{dx} ..

정의 1) f(x) = 0에 도달하는 수렴 방식의 수렴방식의 반복법 2) 반복법 자체의 방법론은 아래와 같은 예시를 따른다. ${(1)}$ $F(X_{n}) = X_{n + 1}$의 무한 수열 ${(2)}$ 예를 들어, $cos(x_{0})$를 세 번 반복하면 ${(3)}$ $cos(cos(cos(x_{0})))$이 된다. 즉 계산기의 cos 버튼을 세 번 누르는것과 같다. ${(4)}$ 이 경우, $cos(0.7391)$에서 자기 자신과 같은 0.7391이 나오는데 이 지점이 바로 고정점이다. 반복법 $F(X_{n}) = X_{n + 1}$의 예시. 점차적으로 고정점 0.7391에 가깝게 다가가게 된다. ${(5)}$ 이 때, 총 이동 길이는 그 기울기인 $\frac{F(x)}{\partial x}$를..

독립의 엄밀한 정의 1) pdf에서 두 확률분포가 독립인 경우 $f(x_{1}, x_{2}) = f(x_{1}) \cdot f(x_{2})$로 나타낼 수 있다. 즉, 독립인경우 각각의 확률변수를 갖는 pdf로 인수분해가 가능하다 ${(1)}$ 위와 같이 나타낼 수 있는 이유는 다음과 같다. -. $f(x_{1}, x_{2}) = f(x_{2} | x_{1})f(x_{1})$으로 표현할 때 -. $f(x_{2})$ = $\int_{-\infty}^{\infty}f(x_{1},x_{2})dx_{1}$ = $\int_{-\infty}^{\infty}f(x_{2} | x_{1})f(x_{1})dx_{1}$ -. 이 때, $f(x_{2}|x_{1})$이 $x_{1}$에 대해 종속되지 않는다고 할 때 = $f(x_..

논문 요약 Time-Series Anomaly Detection Service at Microsoft (arxiv.org) 1) 이상 탐지(Anomaly Detection)을 수행하는 알고리즘 2) 원본 시계열을 Spectral Residual 처리를 통해 이상점만 도드라지게 만든 후, CNN을 활용해 이상 여부를 감별 3) 이 과정에서 라벨링을 자동으로 수행하기 때문에 별도의 라벨링이 필요하지 않는 semi-supervised Learning을 수행 4) 비교군 대비 30% ~ 90% 향상된 점수(F1-Score 기준)을 보여 압도하는 성능을 보여주었다. 서론 1) 이상탐지(Anomaly Detection)은 데이터에서 예상치 못한 이벤트를 발견하는 방법론이다 2) 마이크로소프트는 자시의 검색서비스 B..

공분산과 상관계수 1) 공분산은 X와 Y가 함께 변해갈때의 기댓값을 말한다. ${(1)}$ 수학적으로는 $COV(x,y)$ = $E[(x-\mu_{x})(y-\mu_{y})]$로 정의할 수 있다. ${(2)}$ 위 식을 정리하면 아래와 같이 논리를 전개할 수 있다. -. $E[(x-\mu_{x})(y-\mu_{y})]$ = $E[xy-y\mu_{x}-x\mu_{y}+\mu_{x}\mu_{y}]$ = $E[xy]-\mu_{x}E[y]-\mu_{y}E[x]+E[\mu_{x}\mu_{y}]$ -. 이 때, $\mu_{x}E[y] = \mu_{x}\mu_{y}$이고, $E[\mu_{x}\mu_{y}]$ = $\mu_{x}\mu_{y}$ 이므로 소거되며, 최종적으로 정리하면 $$E[(x-\mu_{x})(y-\mu..

정류점이란? 1) 어떤 함수의 정의역 $x = c$ 근처에서 가장 높은 함수값을 가지는 지점을 국소 최대(극대점), 가장 낮은 함수값을 가지는 지점을 극소점이라고 한다 2) 극대점, 극소점이 전체 함수에서 가장 높거나 가장 낮은 지점이라면, 그 지점을 최대점 혹은 최소점이라고 표현한다 3) 최대점 혹은 최소점은 함수에서 기울기 = 0인 지점(정류점), 미분이 없는 지점(거친점), 정의역의 (양)끝점에서 생성될 수 있으며, 이 때 이 지점들을 임계점이라고 표현한다. 4) 모든 정류점과 거친점, 정의역의 양 끝점에서 f(x)를 구하고, 그 중 최대 / 최소인 지점이 바로 최대점 / 최소점이다 정류점과 이계도함수 1) $f{(x)}$를 1계 미분한 $f'(x)$는 기울기를 나타낸다 ${(1)}$ $f'{(x)..

다변량 분포란? 1) 두 개 이상의 확률변수가 결합된 분포를 의미한다 ${(1)}$ 두 개 이상의 확률변수를 다루기 때문에, 이를 한번에 처리하기 위한 방법으로 선형대수학적 방법론을 활용한다. ${(2)}$ 본격적으로 벡터와 같은 다변수 방법론을 차용한다. 2) 표본공간 e에서 확률변수 $x_{1}, x_{2} ... x_{n}$이 있을 때 $ D = \begin{bmatrix} x_{1}\\...\\x_{n} \end{bmatrix}$인 벡터를 확률벡터라고 한다. 3) 표기법은 다음과 같다. ${(1)}$ 이 때, A를 D의 부분집합이라고 한다면, 이를 표기할 때 $P_{x_{1},x_{2}...,x_{n}}(A)$로 표기한다. 결합분포의 결합누적분포함수(CDF) 1) 일변량 확률변수와 마찬가지로, 다..

조건부 분포란? 1) 결합 확률변수에서 다른 한 쪽의 확률변수가 조건부로 주어졌을 때의 분포 ${(1)}$ 구체적으로는 다음의 PDF를 갖는 분포를 말한다. -. $f_{x_{1}|x_{2}}(x_{1}|x_{2}) = \frac{f_{x_{1},x_{2}}(x_{1},x_{2})}{f_{x_{2}}(x_{2})}$ ${(2)}$ 이와 같이, 조건부 분포에 대해 PDF는 물론이고 누적분포함수(CDF)와 적률생성함수(MGF)등을 정의할 수 있다. 조건부 분포의 평균과 분산 1) 조건부 분포의 적률도 일변량때와 마찬가지로 구할 수 있다. ${(1)}$ 평균(1차적률) : $E(x_{1}|x_{2}) = \int x_{1} \cdot \frac{f_{x_{1},x_{2}}(x_{1},x_{2})}{f_{x_{..

정의 1) 함수의 증분 $\Delta x$, $\Delta y$를 거의 따라가는 접선의 변화량 $dx$, $dy$를 미분소라고 한다. 2) 이 때, 위 그림에서 $\Delta x$에 따른 함수의 변화량은 $\Delta y$ 이다. 즉 $$ \Delta y = f(x + \Delta x) - f(x)$$ 3) 이 때, $dx$에 따른 접선의 변화량은 $dy$ 이다. 즉 $$ dy = f(x) + f'(x)\Delta x $$ 4) 정의역 x의 변화량은 $\Delta x = dx$로 같지만, y의 변화량은 $\Delta y$와 $dy$가 그 오차만큼 차이가 난다. => 다시 말해, $\Delta y$는 함수에 가까운데 비해 $dy$는 접선에 더 가깝다. 예시로 보는 미분소 1) $y = x^{2}$은 $\f..

추천시스템이란? 1. 추천은 인류의 삶과 항상 함께해왔다 -. 예를 들어, '내가 지금 결혼 적령기인데 어떤 반려를 만나야 내가 행복해질 수 있을까?', '농사를 지어야하는데 지금 나한테 가장 적합한 품종은 무엇인가?'는 항상 고대부터 인류를 고민케 했던 질문이었다. -. 이런 질문을 해결해주기 위해, 인류는 중매, 영매사, 혹은 대규모 치수를 담당하는 중앙 정부와 같은 추천 시스템을 통해 적절한 추천 결과를 얻고 삶의 최적화를 수행해 왔다. 2. 통계학, 수학과 같은 이론적 발달에 더해 컴퓨터 과학의 발전으로, 추천 문제는 점점 인간이 수행하는 영역에서 컴퓨터가 알고리즘으로 수행하는 영역으로 들어오기 시작했다. -. 2000년부터 2015년까지, 인터넷 사용자는 738만명에서 3.2억명까지 폭증하였고,..