넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
다음 단어 맞히기 게임이 언어 모델의 전부입니다
언어 모델이 하는 일은 의외로 단순합니다 — 앞의 문맥을 보고 "다음에 올 단어"의 확률을 매기는 것이죠. 이 확률 분포에서 어떻게 문장이 생성되는지, 온도(temperature)를 바꾸면 왜 창의적이거나 보수적인 답이 나오는지 직접 확인해 보세요.
이 페이지에서 배우고 나면
- 모델이 다음 단어를 확률 분포로 예측하는 과정을 직접 관찰할 수 있습니다.
- 온도(temperature)가 생성 결과의 다양성에 어떤 영향을 주는지 실험할 수 있습니다.
- 확률이 높은 단어만 고르면 왜 문장이 단조로워지는지 이해할 수 있습니다.
예측 먼저 — 실험 전에 답을 정해 보세요
예측 → 실험 → 확인
정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.
1. 언어 모델이 문장을 만들어내는 방식은 무엇일까요?
2. "나는 밥을 ___"에서 모델이 "먹었다"에 높은 확률을 주는 근거는?
1. 학습 말뭉치 (자유롭게 수정 — 마침표( . )가 문장 경계)
이 미니 모델은 "바로 앞 한 단어"만 보고 다음 단어를 예측하는 바이그램 언어 모델입니다.
2. 시작 단어를 고르면 — 다음 단어의 확률 분포
나는
통계를
확률을
P(다음 단어 | "나는")
통계를
67%
확률을
33%
3. 다음 단어 예측을 반복하면 — 문장 생성
직접 확인해 볼 것
- "나는" 다음에 "통계를"이 몇 %인가요? 말뭉치에서 직접 세어 검산해 보세요 — 세어서 나누기가 곧 확률입니다.
- "확률대로 뽑기"로 문장 생성을 5번 반복해 보세요 — 문장이 매번 같나요? "항상 1위 선택"은요?
- 말뭉치에 "나는 데이터를 사랑한다 ." 를 추가하면 "나는" 다음 분포가 어떻게 변하나요?
- 이 모델은 바로 앞 한 단어만 봅니다. "통계를 배우면 세상이"처럼 긴 흐름의 자연스러움은 우연에 가깝습니다 — 이 한계를 푸는 것이 Attention 입니다.
- GPT 도 원리는 같습니다: 다음 토큰 확률을 예측하고 하나를 뽑아 이어 붙이기. 다만 "앞 한 단어" 대신 문맥 전체를 봅니다.
실측 요약 — 이 실습이 보여주는 것
6문장·25토큰짜리 수정 가능한 미니 말뭉치에서 바이그램(바로 앞 한 단어 → 다음 단어) 확률을 직접 세어 시작 단어별 다음 단어 확률 분포를 막대로 보고, "항상 1위 선택"과 "확률대로 뽑기" 두 모드로 다음 단어 예측을 반복해 실제 문장을 생성해 보는 실험입니다.
- 기본 말뭉치 실계산: "나는" 다음은 통계를 2/3 = 67%, 확률을 1/3 = 33%이고, "통계를" 다음은 좋아한다 2/4 = 50%, 배운다 25%, 배우면 25% — 언어 모델의 확률은 말뭉치에서 "세어서 나누기"한 조건부확률 그대로다
- "항상 1위 선택"으로 "나는"에서 생성하면 몇 번을 눌러도 "나는 통계를 좋아한다."로 같은 문장이 나오고, "확률대로 뽑기"는 매번 다른 문장이 나올 수 있다 — ChatGPT가 같은 질문에 다른 답을 하는 원리의 축소판
- 말뭉치에 "나는 데이터를 사랑한다 ." 한 문장을 추가하면 "나는"의 분포가 즉시 통계를 2/4 = 50%, 확률을 25%, 데이터를 25%로 이동한다 — 훈련 데이터가 곧 확률이며, GPT도 "앞 한 단어" 대신 문맥 전체를 볼 뿐 다음 토큰 예측이라는 원리는 같다
바로잡는 오개념: "언어 모델은 문장 전체를 먼저 계획하거나 훈련 문장을 검색해 복사한다"는 착각 — 실체는 P(다음 단어 | 앞 문맥) 계산을 한 단어씩 반복하는 것이라, 훈련에 없던 새 문장도 확률 분포에서 생성된다.
AI 튜터에게 물어보기
베타
— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.
예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”