Recurrent Neural Network, RNN with LSTM, GRU

1. 순환 신경망( Recurrent Neural Network, RNN )

  1. 기존 대부분의 신경망 : 매 순간 단일 데이터의 인식, 분석이 가능

  2. 순환 신경망 : k번째 들어온 데이터를 Xk라고 하고 , 그에 따른 은닉층 계산 결과를 hk, k번째 결과 Yk를 생성할 때, h1:k-1을 활용

  3. 시간에 따른 데이터 사이의 패턴 인식 가능

  4. 음악, 작사 작곡, 언어번역, 주가 예측 등에 활용 가능

  5. 역전파에 의해 영향 받는 뉴런이 많아지므로, 학습이 불안정하거나 느림

  6. 긴 기간의 데이터는 분석 성능 낮음 = 과거 정보 잊어버림

 

2. 장단기 메모리( Long Short-Term Memory, LSTM )

  1. 장기 기억이 어려운 RNN의 단점 보완을 위한 기법

  2. 장기기억을 위한 Cell state 도입, 단기기억은 기존 RNN과 유사하게 활용

  3. 상대적으로 장기기억이 우수하나, RNN에 비해 학습이 더 느림

3. 게이트 순환 유닛( Gated Recurrent Unit, GRU )

  1. LSTM을 간소화한 모델

  2. Cell state와 비슷한 역할을 hidden state에서 수행

  3. LSTM에 비해 학습이 빠름

  4. 간단한 문제에서는 LSTM에 비해 성능이 더 좋거나 비슷함

  5. 복잡한 문제에서는 LSTM에 비해 성능이 상대적으로 낮음

 

04.Relation with the RNN, LSTM, GRU