컴퓨터는 어떻게 언어를 이해하게 되었는가

우리는 문장을 읽는 순간 하나의 상황을 떠올린다

아침에 휴대전화에서 다음 문장을 보았다고 생각해 보겠습니다.

우리는 이 문장을 한 글자씩 계산하지 않습니다. ‘오늘’이 현재 날짜를 기준으로 한 시간이라는 것, ‘오후부터’ 비가 시작된다는 것, ‘전국’이 넓은 지역을 가리킨다는 것, ‘많은 비’가 외출에 영향을 줄 수 있다는 것을 거의 동시에 파악합니다.

문장을 모두 읽은 뒤에는 글에 직접 적혀 있지 않은 “우산을 준비해야겠다”라는 판단까지 자연스럽게 이어집니다. 단어의 뜻, 순서, 문맥, 과거 경험이 하나의 상황으로 연결되기 때문입니다.

컴퓨터 안에서는 문자·사진·소리·영상도 모두 숫자가 된다

컴퓨터가 숫자만 처리한다는 말은 텍스트에만 해당하지 않습니다. 우리가 보는 거의 모든 디지털 데이터는 저장되고 계산되기 전에 숫자로 표현됩니다.

문자를 숫자로 바꾸기만 하면 언어를 이해할 수 있을까?

사람은 앞뒤 문장을 보고 과일, 회사, 잘못을 인정하는 행위를 구분합니다. 하지만 컴퓨터에 ‘사과’를 단순히 842번이라고 저장했다고 해서 842라는 숫자 안에 이러한 의미가 자동으로 들어가는 것은 아닙니다.

사람이 모든 언어 규칙을 직접 작성하는 것은 불가능했다

초기에는 사람이 “좋다”가 나오면 긍정, “싫다”가 나오면 부정처럼 규칙을 직접 작성했습니다. 그러나 실제 언어에는 “안 나쁘다”, “정말 잘도 했다”처럼 단어 하나만으로 판단하기 어려운 표현이 끊임없이 등장합니다.

컴퓨터가 데이터에서 판단 패턴을 찾도록 만드는 방법을 머신러닝(Machine Learning)이라고 합니다. 그중 여러 층으로 연결된 신경망을 이용하는 방법이 딥러닝(Deep Learning)입니다.

신경망은 사람의 규칙을 외우는 대신 Weight를 수정한다

신경망은 여러 계산 단계가 연결된 모델입니다. 각 연결에는 입력을 얼마나 강하게 반영할지 정하는 Weight가 있습니다.

학습할 때는 현재 Weight로 먼저 예측하고, 실제 정답과 비교해 오차를 계산한 뒤, 오차가 줄어드는 방향으로 Weight와 Bias를 조금씩 수정합니다.

언어를 처리하기 위해 해결해야 할 문제는 하나가 아니었다

문자를 숫자로 바꾼 뒤에도 의미, 순서, 문맥, 긴 기억, 관계 계산이라는 문제가 차례로 남았습니다. 앞으로 우리는 이 문제들이 어떻게 다음 기술을 탄생시켰는지 따라갑니다.

LLM은 다음 Token을 예측하도록 학습한 거대한 신경망이다

거대 언어 모델은 매우 많은 텍스트를 이용해 학습한 대규모 신경망입니다. 앞의 Token들이 주어졌을 때 다음에 올 Token의 확률을 예측합니다.

이 예측을 방대한 텍스트에서 반복하면서 문법, 표현 방식, 단어 관계, 문맥 패턴이 모델의 Weight에 반영됩니다. 학습된 모델은 입력 문맥에 이어질 Token을 반복해서 선택해 문장을 생성합니다.

이번 과정을 마치면 무엇을 설명할 수 있을까?

앞으로 만날 기술의 역할을 미리 살펴보기