직접 해보기 — 실습 과제

1. 탄생의 순간 관찰하기: 영어 말뭉치로 학습을 시작하고, 타임라인에서 학습 전 → 300 → 750 → 3,000스텝 샘플을 비교하세요. 완전 무작위 → 자주 쓰이는 글자 위주 → "the", "and" 같은 단어 꼴 순으로 변합니다. 철자법을 알려준 적이 없는데도 규칙처럼 보이는 것이 통계가 쌓이며 저절로 나타납니다 — "AI는 문법 규칙을 먼저 배운 뒤 쓴다"는 통념과 반대 순서입니다.
2. 온도 다이얼의 정체: 학습 완료 후 온도를 0.2 → 1.0 → 2.0으로 바꾸며 같은 프롬프트로 각각 생성해 보세요. 바꾸기 전에 결과를 먼저 예측해 적어두면 더 좋습니다. 낮은 온도는 안전하지만 같은 문구를 반복하기 쉽고, 높은 온도는 철자 자체가 무너집니다. 온도는 "창의성"이 아니라 확률분포의 뾰족함을 조절하는 다이얼이며, 모델의 지식은 한 글자도 변하지 않습니다 (top-5 확률 막대가 뾰족해지고 평평해지는 것을 확인하세요).
3. 문자 25종 vs 213종 — 난이도의 정체: 영어와 한국 속담을 각각 학습시키고 손실 곡선 두 개를 비교하세요. 시작점부터 다릅니다 — 무작위 예측의 손실이 ln(문자 종수)이기 때문입니다(차트의 점선). 난이도를 결정한 것은 언어의 우열이 아니라 선택지 수와 문자당 학습 기회입니다. 대형 모델의 한국어 성능 격차도 주로 데이터·토크나이저 문제로 논의됩니다.
4. 암기인가, 일반화인가: 한국 속담 모델에서 "가는 말이"를 프롬프트로 생성해 보세요. 생성 결과에서 노란 강조(코퍼스에 8자 이상 그대로 존재)가 얼마나 되는지 보세요. 작은 말뭉치에서 손실이 아주 낮아진 모델은 사실상 암기 상태입니다 — 손실이 낮다고 항상 "더 잘 배운" 것이 아닙니다. 영어 모델과 강조 비율을 비교해 보세요.
5. 미리 써 둔 문장은 없다: top-5 확률 패널을 보면서 같은 프롬프트로 생성을 여러 번 반복하세요. 매 글자마다 확률 추첨이 새로 일어나 중간부터 다른 길로 갈라집니다. 모델에게는 완성된 문장 계획이 없습니다 — ChatGPT의 답이 타자 치듯 흘러나오는 것은 연출이 아니라 실제 작동 방식(한 번에 한 토큰)입니다.

개념 정리