hidden to hidden connection으로 계속해서 정보를 전달한다.
인코더의 마지막 hidden state가 과거의 모든 정보를 가지고 있어야한다는 문제점이 존재
> information bottleneck 현상 발생
따라서 디코더는, 인코더의 마지막 hidden state를 받을때 문제가 발생한다.
이를 해결하기 위하여 Attention이 등장
core idea, 핵심 아이디어는, 인코더에서 어느 부분을 좀 더 핵심적으로 바라볼지
attention score를 계산하고 direct connection을 만들어줌