넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
LLM은 두 종류의 학습을 거칩니다. 사전학습(pretraining)은 인터넷 규모의 텍스트로 "다음 토큰 맞히기"를 반복하며 언어와 상식을 쌓는 단계이고, 파인튜닝(fine-tuning)은 그렇게 만들어진 기반 모델을 특정 작업·태도에 맞게 추가로 다듬는 단계입니다. ChatGPT가 질문에 공손히 답하는 것은 사전학습이 아니라 파인튜닝(지시 따르기 학습)의 결과입니다.
기반 모델과 파인튜닝된 모델의 차이: 입력: "피자 만드는 법 알려줘" • 기반 모델(사전학습만): "…알려줘. 그리고 파스타 만드는 법도 알려줘." → 인터넷 글을 이어 쓰듯 뒤를 계속 씀 (질문에 답할 줄 모름) • 파인튜닝된 모델(SFT 이후): "네! 1) 도우 반죽을 만들고 2) 소스를 바르고 …" → "질문에는 답을 한다"는 형식을 배움 지식은 같아도, 태도는 파인튜닝이 만듭니다.
아래 코드는 브라우저에서 바로 실행됩니다. 숫자를 바꿔가며 결과를 눈으로 확인해 보세요.
아주 작은 바이그램 "모델"로 사전학습(일반 말뭉치)과 파인튜닝(법률 말뭉치 추가)의 효과를 비교합니다. 같은 단어 뒤에 오는 단어의 확률 분포가 도메인 데이터로 어떻게 이동하는지 보세요.
첫 실행 시 파이썬 런타임을 내려받습니다 (수 초 소요)
정답: "다음 토큰 맞히기"는 글 자체가 정답이기 때문입니다. 문장의 앞부분을 입력으로, 바로 다음 토큰을 정답으로 쓰면 되므로 라벨 작업 없이 인터넷 규모 텍스트를 그대로 학습에 쓸 수 있습니다. 이를 자기지도학습이라고 합니다.
정답: 파인튜닝(SFT·RLHF) 단계입니다. 사전학습은 지식과 언어 능력을 주지만, "질문에 답하는 태도"는 사람이 쓴 모범 답안을 따라 하는 SFT 와 사람 선호 피드백으로 다듬는 RLHF 가 만듭니다.