넘스탯
DATA ANALYTICS & INSIGHTS
확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼
1. 학습 말뭉치 (자유롭게 수정 — 마침표( . )가 문장 경계)
이 미니 모델은 "바로 앞 한 단어"만 보고 다음 단어를 예측하는 바이그램 언어 모델입니다.
2. 시작 단어를 고르면 — 다음 단어의 확률 분포
나는
통계를
확률을
P(다음 단어 | "나는")
통계를
67%
확률을
33%
3. 다음 단어 예측을 반복하면 — 문장 생성
직접 확인해 볼 것
- "나는" 다음에 "통계를"이 몇 %인가요? 말뭉치에서 직접 세어 검산해 보세요 — 세어서 나누기가 곧 확률입니다.
- "확률대로 뽑기"로 문장 생성을 5번 반복해 보세요 — 문장이 매번 같나요? "항상 1위 선택"은요?
- 말뭉치에 "나는 데이터를 사랑한다 ." 를 추가하면 "나는" 다음 분포가 어떻게 변하나요?
- 이 모델은 바로 앞 한 단어만 봅니다. "통계를 배우면 세상이"처럼 긴 흐름의 자연스러움은 우연에 가깝습니다 — 이 한계를 푸는 것이 Attention 입니다.
- GPT 도 원리는 같습니다: 다음 토큰 확률을 예측하고 하나를 뽑아 이어 붙이기. 다만 "앞 한 단어" 대신 문맥 전체를 봅니다.