Part 7 · Transformer Architecture - Why Word Order Still Matters

단어의 순서는 왜 여전히 중요할까

Transformer는 모든 단어를 동시에 계산합니다. 이는 매우 빠르고 효율적이지만, 동시에 단어의 순서 정보가 자연스럽게 사라질 수 있다는 뜻이기도 합니다. 같은 단어라도 순서가 달라지면 문장의 의미는 크게 달라집니다. 따라서 Transformer에도 단어의 위치를 함께 알려 주는 새로운 정보가 필요합니다.

The Classroom Story

선생님이 칠판에 문장을 적었습니다

T
“오늘은 문장에서 단어의 순서가 왜 중요한지 알아봅시다.”
문을 열고
불을 켰다

학생들은 문장을 읽자마자 장면을 떠올렸습니다. 먼저 문을 열었고, 그다음에 불을 켰습니다.

사람은 문장을 읽을 때 단어의 의미뿐 아니라 어떤 단어가 먼저 나오고, 어떤 단어가 뒤에 나오는지도 함께 봅니다.
A Small Accident

그런데 한 학생이 단어 카드를 떨어뜨렸습니다

선생님은 칠판에 있던 단어들을 카드로 만들어 학생들에게 나누어 주었습니다. 그런데 한 학생이 실수로 카드를 바닥에 떨어뜨렸습니다.

1

첫 번째 장면

문을 열고
불을 켰다
2

순서를 바꾼 장면

불을 켜고
문을 열었다
3

순서 정보가 없는 경우

문을 열다
불을 켜다
두 행동은 같아 보이지만, 무엇이 먼저 일어났는지에 따라 실제 장면은 달라집니다.
Same Words, Different Meaning

같은 단어라도 순서가 달라지면 의미가 달라진다

문을 열고 불을 켰다

먼저: 문을 열다나중: 불을 켜다

문을 먼저 연 뒤 불을 켠 장면입니다. 문장에 나온 순서가 행동의 순서를 알려줍니다.

불을 켜고 문을 열었다

먼저: 불을 켜다나중: 문을 열다

이번에는 불을 먼저 켠 뒤 문을 열었습니다. 사용한 행동은 비슷하지만 사건의 순서는 달라졌습니다.

문장에 어떤 행동이 들어 있는지만으로는 전체 장면을 알 수 없습니다. 무엇이 먼저 일어나고 무엇이 나중에 일어났는지도 함께 알아야 합니다.
한국어는 ‘은/는’, ‘이/가’, ‘을/를’ 같은 조사가 단어의 역할을 알려주기 때문에 일부 단어의 자리를 바꾸어도 뜻이 유지될 수 있습니다. 그래서 여기서는 사람 이름의 자리보다 행동이 일어난 순서가 실제 의미를 바꾸는 예를 사용합니다.
How Humans Read

사람은 순서를 자연스럽게 따라간다

우리는 문장을 읽으면서 특별히 노력하지 않아도 단어가 나타난 순서를 자연스럽게 기억합니다.

문을 열고먼저 일어난 행동
불을 켰다나중에 일어난 행동
순서 연결먼저 → 나중
장면 이해문 열기 → 불 켜기

사람은 단어를 하나씩 읽으면서 앞에서 나온 내용과 뒤에서 나온 내용을 연결합니다. 그래서 순서가 바뀌면 뜻도 달라진다는 것을 쉽게 알아차립니다.

What the Computer Receives

컴퓨터에게 단어만 건네주면 어떤 일이 생길까?

🤖

컴퓨터 앞에 세 개의 단어가 놓였습니다

컴퓨터는 각 단어를 숫자로 바꾸어 처리합니다. 하지만 숫자만 보아서는 어떤 단어가 먼저였는지 저절로 알 수 없습니다.

문을 열다불을 켜다
사람에게는 자연스러운 순서가 컴퓨터에게는 자동으로 주어지는 정보가 아닙니다. 단어만 전달하면 순서 정보가 빠질 수 있습니다.
Interactive Story

단어의 순서를 바꾸면 의미가 어떻게 달라질까?

아래 버튼을 눌러 같은 단어가 다른 순서로 놓였을 때 문장이 어떻게 달라지는지 확인해 보세요.

문을 열고 불을 켰다

먼저 문을 열고, 그다음에 불을 켠 장면입니다.
The Real Question

그렇다면 Transformer는 단어의 순서를 어떻게 알까?

Transformer는 문장의 여러 단어를 한꺼번에 살펴봅니다. 이것은 빠르고 강력한 방식이지만, 단어가 몇 번째 자리에 있었는지는 저절로 알 수 없습니다.

“문을 열다”와 “불을 켜다”라는 행동만 알아서는 부족합니다. 컴퓨터가 장면을 올바르게 이해하려면 어떤 행동이 먼저 나오고 어떤 행동이 뒤에 나왔는지도 알아야 합니다.
사람은 단어의 순서를 자연스럽게 기억하지만, Transformer는 순서를 따로 알려주지 않으면 알 수 없습니다.
What Comes Next?

다음 이야기: 단어 카드에 자리표를 붙이다

선생님은 뒤섞인 단어 카드를 보며 한 가지 방법을 떠올립니다. 각 카드에 “첫 번째”, “두 번째”, “세 번째”라는 자리표를 붙이는 것입니다.

① 문을 열고
② 불을 켰다
다음 페이지에서는 Transformer가 단어의 자리를 알아볼 수 있도록 위치 정보를 더하는 방법을 이야기합니다.
Summary

핵심 정리

  • 같은 단어를 사용해도 순서가 달라지면 문장의 의미가 달라집니다.
  • 사람은 단어가 나타난 순서를 자연스럽게 따라가며 문장을 이해합니다.
  • 컴퓨터는 단어를 숫자로 처리하지만, 순서를 자동으로 아는 것은 아닙니다.
  • Transformer가 문장을 올바르게 이해하려면 단어의 위치 정보도 필요합니다.
  • 다음 페이지에서는 각 단어에 자리 정보를 알려주는 방법을 살펴봅니다.