RNN은 문장의 흐름 속에서 학습한다

RNN은 무엇을 배우는가?

RNN은 문장을 처리할 때마다 Hidden State를 계산합니다. 그러나 Hidden State는 모델에 계속 저장되는 지식이 아닙니다. 실제 학습 대상은 모델 내부의 가중치와 편향입니다.

가중치(Weight)란 무엇인가?

가중치는 입력된 숫자 가운데 어떤 특징을 얼마나 강하게 반영할지 결정하는 숫자들의 집합입니다. RNN에서는 대부분 행렬(Matrix) 형태로 저장됩니다.

RNN 안에는 어떤 가중치가 있을까?

RNN의 핵심 계산에는 역할이 다른 세 종류의 가중치가 사용됩니다.

순전파(Forward Pass)란 무엇인가?

순전파는 현재 모델이 가진 가중치를 사용해 입력을 처리하고 예측 결과를 만드는 과정입니다. 이 단계에서는 아직 가중치를 수정하지 않습니다.

현재 가중치로 문장을 읽고 예측한다

문장 The movie was not good을 예로 들어 보겠습니다. 각 시간 단계에서 현재 입력 xₜ와 이전 Hidden State hₜ₋₁에 현재 가중치를 적용해 새 Hidden State hₜ를 계산합니다.

예측이 맞았는지 확인한다

왜 마지막 가중치만 수정하면 안 될까?

잘못된 예측의 원인이 출력 가중치에만 있는 것은 아닙니다. 입력 가중치 Wₓₕ와 순환 가중치 Wₕₕ가 부정 정보를 충분히 유지하지 못했을 수도 있습니다.

시간을 거슬러 기울기를 계산한다

마지막 출력에서 계산된 손실을 기준으로 h₅ → h₄ → h₃ → h₂ → h₁의 순서로 계산을 거슬러 올라갑니다. 이때 각 Hidden State와 Weight를 조금 바꾸었을 때 최종 손실이 얼마나 달라지는지를 나타내는 기울기(Gradient)를 계산합니다.

기울기를 이용해 가중치를 수정한다

기울기는 Weight를 조금 바꿨을 때 Loss가 어느 방향으로 변하는지를 알려 줍니다. 옵티마이저는 이 정보를 이용해 Loss가 줄어드는 방향으로 Weight를 조금씩 수정합니다.

RNN 학습 과정을 단계별로 확인하기

한 번의 수정으로 학습이 끝나지는 않는다

학습 과정에서 자주 생기는 오해

문장이 길어지면 학습 신호는 어떻게 될까?

BPTT는 마지막 출력의 손실을 앞쪽 시간 단계까지 전달합니다. 그러나 문장이 길어질수록 기울기가 여러 단계를 통과하면서 지나치게 작아지거나 커질 수 있습니다.

학습 내용 정리