선생님이 칠판에 문장을 적었습니다
학생들은 문장을 읽자마자 장면을 떠올렸습니다. 먼저 문을 열었고, 그다음에 불을 켰습니다.
그런데 한 학생이 단어 카드를 떨어뜨렸습니다
선생님은 칠판에 있던 단어들을 카드로 만들어 학생들에게 나누어 주었습니다. 그런데 한 학생이 실수로 카드를 바닥에 떨어뜨렸습니다.
첫 번째 장면
순서를 바꾼 장면
순서 정보가 없는 경우
같은 단어라도 순서가 달라지면 의미가 달라진다
문을 열고 불을 켰다
문을 먼저 연 뒤 불을 켠 장면입니다. 문장에 나온 순서가 행동의 순서를 알려줍니다.
불을 켜고 문을 열었다
이번에는 불을 먼저 켠 뒤 문을 열었습니다. 사용한 행동은 비슷하지만 사건의 순서는 달라졌습니다.
사람은 순서를 자연스럽게 따라간다
우리는 문장을 읽으면서 특별히 노력하지 않아도 단어가 나타난 순서를 자연스럽게 기억합니다.
사람은 단어를 하나씩 읽으면서 앞에서 나온 내용과 뒤에서 나온 내용을 연결합니다. 그래서 순서가 바뀌면 뜻도 달라진다는 것을 쉽게 알아차립니다.
컴퓨터에게 단어만 건네주면 어떤 일이 생길까?
컴퓨터 앞에 세 개의 단어가 놓였습니다
컴퓨터는 각 단어를 숫자로 바꾸어 처리합니다. 하지만 숫자만 보아서는 어떤 단어가 먼저였는지 저절로 알 수 없습니다.
단어의 순서를 바꾸면 의미가 어떻게 달라질까?
아래 버튼을 눌러 같은 단어가 다른 순서로 놓였을 때 문장이 어떻게 달라지는지 확인해 보세요.
문을 열고 불을 켰다
그렇다면 Transformer는 단어의 순서를 어떻게 알까?
Transformer는 문장의 여러 단어를 한꺼번에 살펴봅니다. 이것은 빠르고 강력한 방식이지만, 단어가 몇 번째 자리에 있었는지는 저절로 알 수 없습니다.
다음 이야기: 단어 카드에 자리표를 붙이다
선생님은 뒤섞인 단어 카드를 보며 한 가지 방법을 떠올립니다. 각 카드에 “첫 번째”, “두 번째”, “세 번째”라는 자리표를 붙이는 것입니다.
핵심 정리
- 같은 단어를 사용해도 순서가 달라지면 문장의 의미가 달라집니다.
- 사람은 단어가 나타난 순서를 자연스럽게 따라가며 문장을 이해합니다.
- 컴퓨터는 단어를 숫자로 처리하지만, 순서를 자동으로 아는 것은 아닙니다.
- Transformer가 문장을 올바르게 이해하려면 단어의 위치 정보도 필요합니다.
- 다음 페이지에서는 각 단어에 자리 정보를 알려주는 방법을 살펴봅니다.