넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
언어 모델이 하는 일은 한 문장으로 요약됩니다 — 앞의 단어들을 보고 다음 단어의 확률을 매기는 것. "나는 통계를 ___" 다음에 무엇이 올지 확률로 맞히는 일이며, 이것이 GPT의 "다음 토큰 예측"으로 그대로 이어집니다.
말뭉치: "나는 통계를 좋아한다 / 나는 확률을 좋아한다 / 나는 통계를 배운다" "나는" 다음에 무엇이 왔는지 세어 보면: • 통계를: 2번 • 확률을: 1번 따라서 P(통계를 | 나는) = 2/3 ≈ 0.67, P(확률을 | 나는) = 1/3 ≈ 0.33 "세어서 나누기"가 곧 확률입니다.
아래 코드는 브라우저에서 바로 실행됩니다. 숫자를 바꿔가며 결과를 눈으로 확인해 보세요.
작은 말뭉치에서 "나는" 다음 단어의 확률을 세어서 계산합니다.
첫 실행 시 파이썬 런타임을 내려받습니다 (수 초 소요)
정답: 앞의 단어들이 주어졌을 때 다음 단어의 확률 P(다음 | 앞의 단어들)을 계산하는 모델입니다. 이 다음 단어 예측이 GPT로 이어집니다.
정답: "나는" 다음에 각 단어가 몇 번 왔는지 세어, "통계를"이 온 횟수를 "나는"의 전체 다음 등장 횟수로 나눕니다. 세어서 나누기가 곧 확률입니다.