넘스탯
DATA ANALYTICS & INSIGHTS
확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼
토큰화 방식
토큰 수 6
어휘 사전 크기 5
토큰 → ID
나는
0
통계를
1
배우고
2
너는
3
통계를
1
가르친다
4
같은 토큰은 언제나 같은 ID를 받습니다. (예: "통계를"이 두 번 나와도 ID가 같은지 확인해 보세요.)
어휘 사전(vocabulary) 들여다보기 — 이렇게 생겼어요
어휘 사전은 결국 "토큰 ↔ 번호(ID)" 대응표입니다. 크기 5 = 서로 다른 토큰 5개. 아래가 지금 만들어진 사전의 실제 모습이에요.
0
나는
1
통계를
2
배우고
3
너는
4
가르친다
문장이나 토큰화 방식을 바꾸면 사전이 실시간으로 다시 만들어집니다. (실제 LLM 사전은 이런 항목이 5만~20만 개예요.)
한국어는 왜 subword가 중요할까 — 어절 ≠ 단어 ≠ 형태소
한국어는 교착어라, 명사 하나에 조사·어미가 자유롭게 붙습니다. 공백으로만 나누면 아래처럼 어휘가 폭발합니다.
공백 분리 (어절)
통계를
통계가
통계는
→ 서로 다른 토큰 3개
vs
subword (BPE)
통계
를
통계
가
통계
는
→ "통계"를 공유 (어휘 절약)
실험으로 확인해 볼 것
- "공백"과 "글자 단위"의 토큰 수·어휘 사전 크기가 어떻게 다른가요?
- BPE 병합 횟수를 0 → 20으로 올리면 토큰이 어떻게 뭉치나요? 자주 쓰는 조각부터 합쳐지는 것을 확인하세요.
- "통계를 통계가 통계는"을 입력하고 공백 vs BPE의 어휘 사전 크기를 비교해 보세요. (교착어에서 subword가 왜 유리한지)
- 같은 단어가 반복되면 ID가 같은지 확인하세요 — 어휘 사전이 토큰↔ID를 고정하기 때문입니다.