hidden to hidden connection으로 계속해서 정보를 전달한다. 인코더의 마지막 hidden state가 과거의 모든 정보를 가지고 있어야한다는 문제점이 존재 > information bottleneck 현상 발생 따라서 디코더는, 인코더의 마지막 hidden state를 받을때 문제가 발생한다. 이를 해결하기 위하여 Attention이 등장 core idea, 핵심 아이디어는, 인코더에서 어느 부분을 좀 더 핵심적으로 바라볼지 attention score를 계산하고 direct connection을 만들어줌