문과생 네버랜드의 데이터 창고

기존 자연어 처리(NLP) 분야에서 주로 쓰이던 RNN계열 알고리즘 시대를 종식시킨 트랜스포머 알고리즘을 다룬 논문 순차적으로 직전 Hidden State를 입력받아 이번 Hidden State를 생성하는 RNN계열 알고리즘의 특성상 장기의존성 문제가 뼈아픈 Pain Point로 작용 1) 이를 해결하기 위해 현재 시퀀스(ex. '나는 빵집에 간다' 중 '빵집에')에 가장 가까운 시퀀스('간다')를 모델이 학습과정에서 좀 더 면밀하게 주목(Attention)하도록 하는 Attention Mechanism을 RNN계열 알고리즘 위에 덧붙이는 시도가 주로 이루어졌음 2) 이는 성공적인 시도였으나, 여전히 장기의존성문제를 겪는 RNN 계열 알고리즘에 의존한다는 근본적인 한계점이 존재. 트랜스포머 알고리즘은 R..