LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
사전학습·파인튜닝 실습실
미니 언어 모델에 도메인 말뭉치를 더해가며, 파인튜닝이 다음 단어 확률 분포를 어떻게 이동시키는지 직접 확인해 보세요.
원하는 개념·랩·가이드를 검색해보세요
Ctrl K이미 똑똑한 모델을, 내 문제에 맞게 길들이기
이 페이지에서 배우고 나면
- 사전학습된 모델과 파인튜닝된 모델의 차이를 직접 비교할 수 있습니다.
- 적은 데이터로도 특정 작업에 특화시킬 수 있는 이유를 이해할 수 있습니다.
- 파인튜닝이 언제 유리하고 언제 과할 수 있는지 감을 잡을 수 있습니다.
예측 먼저 — 실험 전에 답을 정해 보세요
정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.
1. 사전 훈련(pre-training)만 마친 GPT에게 "프랑스의 수도는?"이라고 물으면?
2. RLHF(인간 피드백 강화학습)가 모델에 주로 더해 주는 것은?
1. 파인튜닝에 사용할 도메인 말뭉치
2. 파인튜닝 강도: 3 (도메인 데이터 3회 반복 학습)
3. 모델에게 물어볼 문맥 (이 단어 다음에 무엇이 올까?)
"계약은 ___" 다음 단어 확률 — 파인튜닝 전 vs 후
사전학습만 (기반 모델)
약속이다
67%
지켜야
33%
파인튜닝 후 (법률 문서 × 3)
무효이다
50%
해지된다
17%
취소된다
17%
약속이다
11%
지켜야
6%
강도를 올릴수록 확률 분포가 도메인 말뭉치 쪽으로 이동합니다 — 이것이 파인튜닝의 원리입니다.
학습에 쓰인 말뭉치
사전학습(일반)
파인튜닝(법률 문서)
직접 확인해 볼 것
- 강도 0(파인튜닝 안 함)에서 "계약은" 다음은 무엇이 1위인가요? 강도를 올리면 언제 "무효이다"가 역전하나요?
- 법률 도메인으로 파인튜닝해도 "치료는"의 분포는 거의 안 변합니다 — 파인튜닝은 도메인이 다루는 문맥만 주로 바꿉니다.
- 강도 10에서 일반 지식("약속이다")이 얼마나 남아 있나요? 과한 파인튜닝이 일반 능력을 잊게 하는(파괴적 망각) 축소판입니다.
- 실제 파인튜닝은 신경망 가중치를 조정하지만, "도메인 데이터가 다음 토큰 확률을 원하는 방향으로 이동"이라는 원리는 여기서 본 그대로입니다.
실측 요약 — 이 실습이 보여주는 것
일반 말뭉치로 만든 바이그램 "기반 모델" 위에 법률·의료 도메인 말뭉치를 강도 0~10(도메인 데이터 반복 학습 횟수)으로 더해, "계약은 ___"·"치료는 ___"의 다음 단어 확률 분포가 파인튜닝 전후로 어떻게 이동하는지 좌우로 비교하는 실험입니다.
- 사전학습만으로는 "계약은" 다음이 약속이다 2/3 = 67%, 지켜야 33%인데, 법률 말뭉치(무효이다 3회·해지된다 1회·취소된다 1회)를 강도 1로 한 번만 더해도 무효이다 3/8 = 37.5%가 약속이다 25%를 제치고 1위로 역전된다 — 기본 강도 3에서는 무효이다 50% vs 약속이다 11%
- 강도 10에서는 일반 지식 "약속이다"가 2/53 ≈ 3.8%까지 쪼그라든다 — 과한 파인튜닝이 기존 능력을 지우는 파괴적 망각(catastrophic forgetting)의 축소판
- 법률 말뭉치에는 "치료는"으로 시작하는 문장이 없어, 법률 파인튜닝을 아무리 강하게 해도 "치료는"의 분포는 병원에서 67%, 쉬는 33% 그대로다 — 파인튜닝은 도메인 데이터가 다루는 문맥의 확률만 주로 이동시킨다
바로잡는 오개념: "사전 훈련만 마친 GPT도 질문하면 친절히 답한다"는 착각 — 사전 훈련 모델은 다음 토큰 이어 쓰기 전문가일 뿐이며, 질문에 답하는 행동은 파인튜닝·RLHF 같은 이후 정렬 훈련이 확률 분포를 원하는 방향으로 이동시켜 만든 것이다.
AI 튜터에게 물어보기
— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.
예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”