LSTM1 RNN과 LSTM의 개념 RNN은 Recurrent Neural Network의 약자로, 순서가 존재하는 데이터를 학습 및 예측할 때 사용할 수 있습니다. 앞에서 넘어온 정보와, 지금 상태에서의 input을 함께 접목하여 그에 맞는 output을 출력하고 다음 상태의 input 과 다시 연산을 합니다. 하지만, 데이터의 길이가 길어질수록 Vanishing 문제가 발생하여 (반복된 연산으로 데이터 끝단에서는 그 정보량이 희미해집니다.) 장기간의 패턴을 학습할 수 없다는 문제가 있습니다. 예를들어서, 아래 그림 왼쪽에서와 같이 비교적 짧은 문장에서는 RNN이 잘 작동하지만, 오른쪽과 같이 문장이 길어지고 예측해야 할 단어와 근거가 되는 단 어 사이의 거리가 멀어진다면 정보량이 사라져 전달이 안되어 성능이 떨어지게 됩니다. LSTM이.. 2022. 12. 1. 이전 1 다음
