단어 사이의 관련성을 숫자로 계산하다

먼저 사람이 어떻게 판단하는지 생각해 보자

사람은 문법책을 펼치거나 계산기를 사용하지 않아도 Tom이 가장 자연스럽다고 판단합니다. 그 이유를 말로 풀면 다음과 같습니다.

컴퓨터는 느낌 대신 숫자가 필요하다

사람은 “Tom이 가장 잘 맞는다”고 말할 수 있지만, 컴퓨터는 그렇게 막연하게 판단할 수 없습니다. 각 후보가 얼마나 잘 맞는지를 숫자로 만들어야 합니다.

무엇과 무엇을 비교하는가?

컴퓨터는 He의 Query를 문장 속 각 단어의 Key와 차례대로 비교합니다.

컴퓨터는 벡터의 방향이 비슷한지 본다

컴퓨터 안에서 Query와 Key는 문장이 아니라 숫자 묶음인 벡터입니다. 두 벡터가 비슷한 방향을 가리킬수록 서로 잘 맞는다고 판단합니다.

숫자를 아주 작게 줄여서 살펴보자

실제 모델의 벡터는 수백 또는 수천 개의 숫자를 가질 수 있습니다. 여기서는 이해를 위해 두 개의 숫자만 사용하겠습니다.

Attention Score가 바로 참고 비중은 아니다

Attention Score는 후보를 비교한 원점수입니다. 이 숫자는 음수가 될 수도 있고, 크기의 범위도 일정하지 않을 수 있습니다.

현재 Query가 바뀌면 점수도 바뀐다

핵심 정리