넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
토큰화는 텍스트를 모델이 처리할 수 있는 단위(토큰)로 나누는 전처리 과정으로, 서브워드 방식이 표준으로 쓰인다.
이 내용은 넘스탯의 토큰화 시뮬레이터에서 직접 실험으로 확인할 수 있습니다.
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
모델은 글자를 읽지 못합니다. 신경망은 숫자만 다루는 계산기예요. 그래서 문장을 잘게 쪼갠 조각(토큰)으로 나누고 각 토큰에 고유한 정수 번호(ID)를 붙입니다. 이 과정이 토큰화이며, 사람의 말을 모델이 다루는 첫 단계입니다.
문장: "나는 통계를 배우고 너는 통계를 가르친다" 공백으로 나누면: [나는, 통계를, 배우고, 너는, 통계를, 가르친다] 처음 본 토큰마다 새 ID 부여: 나는=0, 통계를=1, 배우고=2, 너는=3, 가르친다=4 결과 ID: [0, 1, 2, 3, 1, 4] '통계를'이 두 번 나와도 같은 ID(1)를 받는 점에 주목하세요.
아래 코드는 브라우저에서 바로 실행됩니다. 숫자를 바꿔가며 결과를 눈으로 확인해 보세요.
BPE가 아니라 공백으로 나눈 뒤, 처음 보는 토큰마다 새 ID를 부여합니다. "단어 → 번호" 원리를 먼저 체험하세요.
첫 실행 시 파이썬 런타임을 내려받습니다 (수 초 소요)
정답: 문장을 토큰으로 쪼개고 각 토큰에 고유한 정수 ID를 붙이는 토큰화입니다. 신경망은 숫자만 계산하므로 글자를 숫자(ID)로 바꾸는 것이 첫 단계입니다.
정답: 항상 같은 ID를 받습니다. 어휘 사전에서 토큰↔ID가 고정되어 있기 때문입니다. "통계를"은 언제 나와도 같은 번호입니다.