Long Short-Term Memory (LSTM)

LSTM : RNN 의 단점을 보완한 모형으로, the problems of long-term dependencies 를 해결함

 

RNN은 위와 같은 방식으로 값을 전달하게 되는데 아래와 같은 문제가 발생한다고 한다.

타우값이 (-1,1) 이라서 앞의 정보에 반복적으로 곱해지다 보면 앞의 정보를 충분히 전달 할 수 없고, 이러한 문제를

long-trem dependencies 이라 한다고 한다.

 

 

LSTM의 구조를 봐보면 아래와 같다.

• Forget Gate : 과거 정보를 얼마나 잊을 지 결정 

• Input Gate & Candidate : 현 시점의 정보를 얼마나 사용할 건지 & 현 시점의 정보 계산

• Memory Cell Calculate : memory cell 과거 정보와 현재 정보를 단순히 저장함

• Output Gate : memory cell로 출력할 양을 결정 -> 과거부터 현재까지의 정보를 얼마나 사용할 건지

• Output Layer : 출력 활성화 함수

 

 

결론 : 논리적으로 어떤 수식 때문에 RNN 보다 성능이 좋아졌다고 말하진 못하겠지만, 과거 정보, 현재 정보에 가중치를 부여해 long-term dependencies 어느정도 해결했다고 직관적으로는 이해를 한 것 같다.

-> 코드로 구현해보면서 필요시 정확한 이해를 요함.

 

 

Refernences

https://yjjo.tistory.com/17