넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
Instruction Tuning과 RLHF는 "다음 토큰 예측기"인 사전학습 모델을 사람의 지시를 따르는 조수로 바꾸는 정렬(alignment) 단계로, 지시-응답 지도학습(SFT), 사람 선호로 학습한 보상 모델, 강화학습(PPO)의 3단계로 구성된다.
이 내용은 넘스탯의 파인튜닝 실습에서 직접 실험으로 확인할 수 있습니다.
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
사전학습을 마친 언어 모델은 방대한 지식을 갖고 있지만, 하는 일은 오직 하나 — "다음에 올 법한 토큰"을 예측해 글을 이어 쓰는 것입니다. 그래서 "피자 만드는 법 알려줘"라고 지시해도, 답을 하는 대신 비슷한 요청 문장을 계속 이어 쓰기도 합니다. 이 모델을 지시에 답하는 조수로 바꾸는 추가 학습이 정렬(alignment)입니다. 대표 절차가 지시-응답 예시로 가르치는 Instruction Tuning(SFT)과, 사람의 선호 피드백으로 다듬는 RLHF(Reinforcement Learning from Human Feedback)입니다.
같은 입력에 대한 정렬 전/후 반응 (개념 예시) 입력: "삼각형 내각의 합을 설명해 줘" • 사전학습만 한 기반 모델: "…설명해 줘. 그리고 사각형 내각의 합도 설명해 줘. 다음 문제를 풀어라…" → 시험지·게시판 글을 이어 쓰듯 비슷한 문장을 계속 생성 • 정렬(SFT + RLHF)을 거친 모델: "삼각형의 세 내각을 더하면 180도입니다. 그 이유는…" → 지시를 "답해야 할 요청"으로 인식하고 응답 지식이 늘어난 것이 아니라, 지식을 꺼내는 방식이 바뀐 것입니다.
정답: 학습 목표가 "질문에 답하기"가 아니라 "다음 토큰 예측"이었기 때문입니다. 인터넷 텍스트에서 지시문 뒤에는 답변만 오는 것이 아니라 비슷한 요청·목록이 이어지는 경우도 많아, 모델은 지시를 이어쓰기 재료로 취급합니다.
정답: SFT는 사람이 작성한 지시-응답 모범 예시로 지도학습을 합니다. RLHF는 모델이 만든 여러 응답 중 어느 쪽이 나은지 사람이 비교한 선호 데이터로 보상 모델을 학습한 뒤, 그 보상을 높이는 방향으로 강화학습을 합니다.
정답: 아닙니다. 지식과 언어 능력은 대부분 사전학습에서 만들어지고, 정렬은 그 능력을 "지시에 답하는 형식과 태도"로 꺼내 쓰도록 방향을 잡는 단계입니다. 그래서 정렬 데이터는 사전학습 데이터보다 훨씬 적습니다.