통계 실험실 차트
넘스탯 로고
넘스탯
LEARN · SIMULATE · VERIFY

확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼

로그인
학습 메뉴
도움말
홈

언어 모델의 발전사

마일스톤 학습법으로 단계별 완전 정복
LLM
언어모델
N-gram
NNLM
RNN
LSTM
Transformer
사전학습
발전사
이 개념 직접 실험하기 — 언어 모델 시뮬레이터
이 학습을 통해 달성할 수 있는 목표
기초 이해
  • • 언어 모델이 공통으로 푸는 "다음 단어 확률" 문제 이해
  • • N-gram → NNLM → RNN/LSTM → Transformer → LLM의 발전 순서 파악
  • • 각 단계가 이전 단계의 어떤 한계를 해결했는지 한 줄로 설명하기
심화 학습
  • • 마르코프 가정과 바이그램 확률을 손으로 계산하고 희소성 문제 확인
  • • 임베딩이 못 본 조합으로 일반화하는 원리 이해
  • • RNN/LSTM의 장기 의존·병렬화 한계와 Transformer의 해법 구분
실무 적용
  • • 조건부 확률의 매개변수화 방식 변화로 발전사를 재해석
  • • 구조(Transformer)와 학습 패러다임(사전학습)의 기여를 구분
  • • 품질 병목 진단(희소성·문맥 길이·데이터 부족)에 발전사를 점검표로 활용
한눈에 보기

언어 모델의 발전사는 N-gram(빈도 세기) → 신경망 언어모델 NNLM(임베딩 도입) → RNN/LSTM(가변 길이 문맥) → Transformer(병렬화·전역 어텐션) → 대규모 사전학습 LLM(GPT·BERT 계열)로 이어지며, 각 단계는 이전 단계의 핵심 한계를 해결하며 등장했다.

이 내용은 넘스탯의 언어 모델 시뮬레이터에서 직접 실험으로 확인할 수 있습니다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해
개념 정의와 기본 원리
약 15분
클릭
심화 학습
공식 유도와 다양한 예시
약 35분
클릭
실무 적용
실제 케이스와 고급 응용
약 50분

학습 진도 (완료한 단계)

0%

기초 이해다음 단어 맞히기의 진화

기초 이해: 다음 단어 맞히기의 진화

난이도 1/5
약 15분

언어 모델은 "지금까지의 단어들 다음에 어떤 단어가 올까?"를 확률로 맞히는 모델입니다. 이 한 가지 문제를 푸는 방법이 약 60년에 걸쳐 진화해 왔어요. 처음에는 단순히 빈도를 세는 방식(N-gram)이었다가, 단어를 숫자 벡터로 표현하는 신경망(NNLM), 문장을 순서대로 읽는 RNN/LSTM, 문장 전체를 한 번에 보는 Transformer를 거쳐, 오늘날의 GPT 같은 대규모 언어모델(LLM)에 이르렀습니다. 중요한 것은 각 단계가 "이전 방식의 어떤 문제를 해결했는가"입니다.

언어 모델 — 다음 토큰의 확률을 예측한다이전 단어가 주어지면 다음 토큰의 확률분포를 예측 → 반복하면 문장이 생성됩니다“나는 밥을 ___”52%먹었다19%샀다12%만들었다8%버렸다5%남겼다※ 매개변수·데이터를 키우면 성능↑(스케일링 법칙) · GPT-3는 예시 몇 개만으로 새 과제 수행(few-shot)
핵심 포인트
  • •N-gram: 직전 몇 단어의 빈도만 세는 방식 — 단순하지만 못 본 조합에 무력(희소성)
  • •NNLM(2003): 단어를 벡터(임베딩)로 표현해 비슷한 단어끼리 지식을 공유 — 희소성 완화
  • •RNN/LSTM: 고정 창 대신 문장을 순서대로 읽으며 가변 길이 문맥 처리 — 단, 긴 문맥 기억이 어려움
  • •Transformer(2017)와 LLM: 전역 어텐션 + 병렬 학습으로 대규모화 — GPT·BERT 계열 사전학습 모델의 토대
간단한 예시

문장: "나는 아침에 따뜻한 ___" N-gram 방식: "따뜻한" 뒤에 어떤 단어가 자주 왔는지 빈도표에서 찾음 → 학습 데이터에 "따뜻한 커피"가 없었다면 확률 0 (희소성 문제) 임베딩 방식(NNLM 이후): "따뜻한 차"를 본 적이 있고, '커피'와 '차'가 비슷한 벡터라는 것을 알기에 → "따뜻한 커피"에도 자연스럽게 높은 확률 부여 같은 문제를 풀지만, "무엇을 기억하는가"가 다릅니다. N-gram은 조합 자체를, 신경망은 단어 사이의 유사성을 기억합니다.

이해도 확인하기

정답: "지금까지의 단어들 다음에 어떤 단어가 올 확률이 높은가?"입니다. N-gram부터 LLM까지 방법은 달라졌지만, 다음 단어의 확률을 추정한다는 목표 자체는 같습니다.

정답: 희소성 문제입니다. 단어 조합의 빈도를 그대로 세기 때문에, 학습 데이터에 한 번도 나오지 않은 조합에는 확률 0을 주게 됩니다. 문맥을 길게 볼수록 못 본 조합이 기하급수적으로 늘어납니다.

정답: 단어를 연속적인 숫자 벡터로 표현해, 비슷한 단어가 비슷한 벡터를 갖게 했습니다. 그 덕분에 "따뜻한 차"를 본 경험이 "따뜻한 커피"의 확률 추정에도 전이되어, 못 본 조합에도 그럴듯한 확률을 줄 수 있게 됐습니다.

딥러닝 이론 페이지로 돌아가기