Part 5 · Context and Sequential Models - Why Word Order Matters

단어의 순서가 바뀌면 의미도 달라진다

문장은 단어의 집합이 아니라 순서대로 연결된 정보입니다. 같은 단어를 사용하더라도 배열이 달라지면 문장의 의미는 완전히 달라질 수 있습니다. 언어 모델이 문장을 이해하려면 어떤 단어가 사용되었는지만이 아니라, 어떤 순서로 등장했는지도 함께 고려해야 합니다. 이 장에서는 단어의 순서가 왜 중요한지 다양한 예제를 통해 살펴봅니다.

From Context to Sequence

문맥을 이해하려면 순서도 알아야 한다

앞 장에서는 단어의 의미가 주변 문맥에 따라 달라질 수 있다는 사실을 살펴보았습니다. 그런데 주변 단어의 종류만 아는 것으로는 충분하지 않습니다. 그 단어들이 어떤 순서로 등장했는지도 중요합니다.

임베딩 토큰의 기본 벡터
문맥 주변 단어 정보
순서 앞과 뒤의 위치
관계 누가 무엇을 했는가
문장 의미 전체 해석
문장을 이해하려면 어떤 단어가 있는지뿐 아니라 각 단어가 어디에 놓였는지도 알아야 합니다.
Order Changes Meaning

같은 단어라도 순서가 바뀌면 의미가 달라진다

The dog bit the man.
The dog bit the man
행동 주체
dog
→ 물었다 →
행동 대상
man
개가 사람을 물었습니다.
The man bit the dog.
The man bit the dog
행동 주체
man
→ 물었다 →
행동 대상
dog
사람이 개를 물었습니다.
두 문장에 사용된 단어의 종류와 개수는 같습니다. 달라진 것은 dog와 man의 위치뿐이지만, 누가 행동했고 누가 대상이 되었는지가 완전히 바뀝니다.
Korean Examples

한국어에서도 순서와 조사의 관계가 중요하다

철수가 영희를 도왔다.
철수가 영희를 도왔다
철수가 도움을 주고 영희가 도움을 받았습니다.
영희가 철수를 도왔다.
영희가 철수를 도왔다
영희가 도움을 주고 철수가 도움을 받았습니다.

한국어는 조사 때문에 영어보다 어순이 비교적 자유로운 경우도 있지만, 단어의 위치와 조사, 서술어의 연결 관계를 함께 봐야 정확한 의미를 판단할 수 있습니다.

언어마다 문법적 단서는 다르지만, 문장 안에서 토큰의 위치와 연결 관계가 중요하다는 점은 같습니다.
Interactive Sequence

단어 순서를 바꾸면 관계가 어떻게 달라질까?

버튼을 눌러 문장 순서를 바꾸고, 행동 주체와 대상이 어떻게 달라지는지 확인해 보세요.

The dog bit the man.

행동 주체
dog
→ 물었다 →
행동 대상
man
개가 사람을 물었습니다.
Bag of Words

단어 주머니 방식은 순서를 잃는다

초기 자연어 처리에서는 문장에 어떤 단어가 몇 번 등장했는지를 세는 Bag of Words 방식이 널리 사용되었습니다. 한국어로는 ‘단어 주머니’라고 이해할 수 있습니다.

문장의 단어를 순서대로 보지 않고 하나의 주머니에 넣는다고 생각하면 됩니다. 주머니 안에서는 어떤 단어가 먼저 나왔는지 알 수 없습니다.

문장 A

The dog bit the man.

the × 2 dog × 1 bit × 1 man × 1
문장 B

The man bit the dog.

the × 2 dog × 1 bit × 1 man × 1
Bag of Words로 바꾸면 두 문장은 완전히 같은 표현이 됩니다. 행동 주체와 대상의 위치가 사라졌기 때문입니다.
Interactive Bag of Words

순서를 제거하면 두 문장이 같아지는 과정

문장 A
문장 B
현재는 단어의 순서가 보존되어 있으므로 두 문장의 관계가 다릅니다.
Negation and Position

부정 표현도 위치와 순서가 중요하다

The movie was good.
The movie was good
긍정적인 평가
The movie was not good.
The movie was not good
not이 good 앞에 놓여 부정적인 평가가 됩니다.

good이라는 단어가 포함되어 있다는 사실만 보면 두 문장을 모두 긍정으로 판단할 수 있습니다. 그러나 not의 위치와 뒤 표현과의 연결을 함께 보면 의미가 달라집니다.

순서를 잃으면 부정어가 어느 표현을 부정하는지, 수식어가 어느 단어를 꾸미는지 판단하기 어려워집니다.
Sequence

문장은 순서가 있는 데이터이다

문장처럼 요소가 일정한 순서로 나열된 데이터를 시퀀스(Sequence)라고 합니다.

첫 번째 토큰 문장 시작
두 번째 토큰 앞 단어와 연결
세 번째 토큰 관계 확장
마지막 토큰 전체 의미 완성
자연어 모델은 토큰을 독립적인 집합으로만 처리하지 않고, 순서가 있는 벡터 시퀀스로 처리해야 합니다.
시퀀스는 문장에만 존재하는가?
아닙니다. 시간 순서가 있는 음성, 주가, 센서 데이터, 음악, 동영상 프레임도 시퀀스 데이터입니다. RNN은 이러한 순차 데이터를 처리하기 위해 사용되어 왔습니다.
What a Model Must Preserve

문장 모델이 보존해야 하는 정보

토큰의 종류 어떤 단어와 서브워드가 등장했는가?
토큰의 위치 어떤 토큰이 먼저 나오고 나중에 나왔는가?
토큰 사이의 관계 누가 행동 주체이고 누가 대상인가?
앞에서 읽은 정보 현재 토큰을 해석할 때 무엇을 기억해야 하는가?
이 정보를 처리하려면 모델은 문장을 순서대로 읽거나, 각 토큰의 위치와 관계를 별도로 계산할 수 있어야 합니다.
Next Chapter

문장을 순서대로 처리하는 모델이 필요하다

임베딩은 각 토큰을 좋은 벡터로 바꾸지만, 토큰 벡터를 단순히 모아 놓는 것만으로는 순서와 앞뒤 관계를 충분히 표현하기 어렵습니다.

임베딩 벡터 토큰별 표현
순서 보존 앞에서 뒤로
이전 정보 기억 문맥 전달
현재 입력 결합 새 정보 반영
문장 표현 순차 관계 반영
다음 장에서는 문장을 한 토큰씩 순서대로 읽고, 앞에서 읽은 정보를 다음 단계로 전달하기 위해 RNN이 왜 등장했는지 살펴봅니다.
Summary

학습 내용 정리

  • 같은 단어를 사용하더라도 등장 순서가 달라지면 문장의 의미가 달라질 수 있습니다.
  • 단어의 위치는 행동 주체와 대상, 수식 관계와 부정 범위를 결정합니다.
  • Bag of Words는 단어의 종류와 빈도는 보존하지만 순서 정보는 잃습니다.
  • 순서를 잃으면 서로 다른 문장이 같은 표현으로 바뀔 수 있습니다.
  • 문장처럼 순서가 있는 데이터를 시퀀스(Sequence)라고 합니다.
  • 자연어 모델은 토큰 벡터를 순서가 있는 시퀀스로 처리해야 합니다.
  • 다음 장에서는 순서와 이전 정보를 처리하기 위해 RNN이 등장한 이유를 살펴봅니다.