넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
사전학습은 레이블 없는 대규모 텍스트에서 "다음 토큰 예측(또는 빈칸 채우기)" 같은 자기지도 과제를 풀며 언어의 통계적 구조와 지식을 흡수하는 LLM 학습의 첫 단계다.
이 내용은 넘스탯의 언어 모델 시뮬레이터에서 직접 실험으로 확인할 수 있습니다.
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
보통의 머신러닝은 "이 사진은 고양이"처럼 사람이 정답(레이블)을 달아 준 데이터가 필요합니다. 그런데 인터넷의 방대한 텍스트에 일일이 정답을 달 수는 없어요. 사전학습은 이 문제를 영리하게 피해 갑니다. 문장의 앞부분을 보여 주고 "다음에 올 토큰은 무엇일까?"를 맞히게 하는 거예요. 정답은 이미 문장 안에 있으므로, 사람이 손대지 않아도 데이터 자체가 무한한 문제집이 됩니다. 이렇게 정답을 데이터에서 스스로 만들어 쓰는 방식을 자기지도 학습(self-supervised learning)이라고 합니다.
문장: "나는 아침에 커피를 마셨다" 이 문장 하나에서 만들어지는 연습 문제들: 문제 1: "나는" → 정답: "아침에" 문제 2: "나는 아침에" → 정답: "커피를" 문제 3: "나는 아침에 커피를" → 정답: "마셨다" 사람이 정답을 단 적이 없는데도 문제 3개가 생겼습니다. 문장이 수조 개면 문제도 수조 개 — 이것이 자기지도 학습입니다.
정답: 텍스트 자체가 정답을 제공하기 때문입니다. 문장의 앞부분을 입력으로, 바로 다음 토큰을 정답으로 삼으면 별도의 레이블 작업 없이 학습 문제가 만들어집니다. 이것이 자기지도 학습입니다.
정답: "대한민국의 수도는 ___" 같은 문장의 다음 토큰을 맞히려면 사실 지식이, "나는 밥을 ___"에는 문법이 필요합니다. 예측을 잘하려는 과정에서 문법·지식·추론 능력이 부산물로 축적됩니다.
정답: 사전학습은 대규모 무레이블 텍스트로 범용 언어 능력을 만드는 1단계이고, 파인튜닝은 그 능력을 번역·분류·대화 같은 특정 작업에 맞추는 2단계입니다.