벡터는 어떻게 단어의 의미를 담게 될까

앞 장에서 가져온 벡터

앞 장에서는 Token ID를 이용해 Embedding Table의 한 행을 선택하고, 해당 행에 저장된 벡터를 가져오는 Embedding Lookup을 살펴보았습니다.

벡터는 여러 숫자를 순서대로 묶은 표현이다

하나의 숫자만으로는 토큰의 다양한 특징과 관계를 표현하기 어렵습니다. 그래서 임베딩은 여러 숫자를 순서대로 묶은 벡터(Vector)를 사용합니다.

차원(Dimension)이란?

벡터에 들어 있는 숫자의 개수를 차원이라고 합니다. 숫자가 2개이면 2차원 벡터, 숫자가 4개이면 4차원 벡터입니다.

벡터는 의미 공간에서 토큰의 위치를 나타낸다

이해를 돕기 위해 실제 고차원 벡터를 2차원 평면에 단순화해 보겠습니다. 비슷한 문맥에서 자주 사용되는 토큰은 가까운 위치에 모이고, 사용 방식이 크게 다른 토큰은 더 멀리 놓일 수 있습니다.

숫자 하나가 의미 하나를 담당하는 것은 아니다

임베딩을 처음 배우면 첫 번째 숫자는 ‘과일 정도’, 두 번째 숫자는 ‘크기’처럼 사람이 이해할 수 있는 의미가 하나씩 배정되어 있다고 생각하기 쉽습니다. 그러나 실제 임베딩은 보통 그렇게 단순하지 않습니다.

벡터의 의미는 학습 과정에서 만들어진다

Embedding Table의 숫자는 사람이 단어 뜻을 읽고 직접 입력한 값이 아닙니다. 모델이 문장을 예측하는 학습을 반복하면서, 예측 오류가 줄어드는 방향으로 벡터 값이 조금씩 조정됩니다.

단어별 벡터 패턴 비교하기

위 숫자와 차원 이름은 설명을 위해 만든 예시입니다. 실제 LLM의 임베딩 차원에는 사람이 붙인 명확한 이름이 없으며, 훨씬 많은 숫자가 함께 작동합니다.

벡터의 유사성은 무엇을 의미할까?

Embedding Lookup으로 가져온 벡터는 아직 문맥을 충분히 반영하지 못한다

Embedding Table에서 Lookup한 벡터는 기본적으로 같은 Token ID에 대해 같은 값입니다. 예를 들어 같은 bank 토큰이라면 문장에 관계없이 같은 초기 임베딩을 가져옵니다.

언어 모델은 이 벡터로 무엇을 할까?

학습 내용 정리