통계 실험실 차트
넘스탯 로고
넘스탯
LEARN · SIMULATE · VERIFY

확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼

로그인
학습 메뉴
도움말
홈

대규모 언어모델의 핵심 원리

대규모 언어모델(LLM)의 원리·구조·학습 방법을 Transformer부터 프롬프트 엔지니어링까지 체계적으로 학습하세요
Transformer 원리
Attention 메커니즘
실전 프롬프트

원하는 개념·랩·가이드를 검색해보세요

Ctrl K
이론 메인으로LLM 실습으로

휴대폰 자동완성과 ChatGPT는 뿌리가 같습니다

문자를 칠 때 다음 단어를 제안하는 자동완성 — LLM은 본질적으로 같은 일을 어마어마한 규모로 합니다. 앞의 문맥을 보고 "다음에 올 가능성이 가장 높은 단어"를 반복해서 고르는 것이죠. 이 단순한 원리가 방대한 텍스트로 학습되고 규모가 커지자, 번역·요약·코딩·질의응답까지 하나의 모델이 해내게 되었습니다. 그 중심에 토큰화·임베딩·어텐션·트랜스포머라는 부품이 있습니다.
이 페이지에서 배우고 나면
  • 토큰화·임베딩·어텐션이 문장을 처리하는 각 단계에서 무슨 일을 하는지 설명할 수 있습니다.
  • LLM이 "사실을 안다"기보다 "그럴듯한 다음 단어를 예측한다"는 점, 그래서 왜 환각(hallucination)이 생기는지 이해할 수 있습니다.
  • 사전학습·파인튜닝·프롬프트가 각각 어떤 역할을 하는지 구분할 수 있습니다.

실제로 어디에 쓰일까?

다음 단어를 예측하는 하나의 원리가, 글을 다루는 거의 모든 작업으로 확장되어 실무에 쓰입니다.

고객 상담 자동화

자주 묻는 질문에 자연어로 답하는 상담 챗봇·헬프데스크

사내 문서 검색 답변

내부 문서를 근거로 답을 생성하는 검색 증강 생성(RAG)

코드 작성·리뷰 보조

코드 자동완성, 버그 설명, 리팩터링 제안

콘텐츠 초안 작성

보고서·이메일·마케팅 문구의 초안을 빠르게 생성

데이터 추출·구조화

비정형 텍스트에서 필요한 항목을 뽑아 표·JSON으로 정리

교육용 튜터

학습자 수준에 맞춰 개념을 설명하고 예시를 만들어 주는 튜터

NEW · 영상 강의
8개 챕터 · 43강
토큰 한 개에서 챗봇까지 — LLM 처음부터 만들기

이론을 넘어 직접 GPT를 빌드하고 싶다면 새로운 커리큘럼을 추천합니다. 토큰화 → 어텐션 → 트랜스포머 → 사전학습 → 파인튜닝 → 할루시네이션까지 PyTorch 코드와 영상 강의로 단계별 학습합니다.

LLM 학습 지도

토큰화부터 AI 에이전트까지, 9개 개념이 하나의 길로 이어져요

여기서 시작

토큰화

시작 전

임베딩

시작 전

언어모델

시작 전

Attention

시작 전

Transformer

시작 전

사전학습·파인튜닝

시작 전

프롬프트

시작 전

RAG

시작 전

AI 에이전트

시작 전

학습 기록은 이 브라우저에만 저장돼요. 기기나 브라우저를 바꾸면 기록이 보이지 않아요.

토큰화 (Tokenization)

문장을 토큰이라는 작은 조각으로 나누고, 각 조각에 번호(ID)를 붙이는 일

예시:

"playing" → "play" + "ing" 처럼 단어를 조각으로 나눔

핵심:

자주 쓰는 조각은 통째로, 드문 단어는 잘게 — 작은 어휘 사전으로 모든 단어를 표현 (BPE)

단어 임베딩 (Embedding)

단어를 의미가 담긴 숫자 목록(벡터)으로 바꿔, 뜻이 비슷한 단어끼리 가깝게 배치

예시:

"왕 − 남자 + 여자 ≈ 여왕" — 의미가 계산이 된다

핵심:

뜻의 비슷함이 벡터의 방향(코사인 유사도)으로 나타남

언어 모델의 정의

앞의 단어들을 보고 다음 단어의 확률을 예측하는 모델

예시:

"나는 통계를 ___" 다음에 올 단어를 확률로 맞히기

핵심:

핵심은 하나 — 다음 단어 예측. 모든 LLM의 출발점

언어 모델의 발전사

N-gram → 신경망 언어 모델 → RNN/LSTM → Transformer (각 단계가 앞의 한계를 해결)

예시:

BERT(2018) · GPT-3(2020) · ChatGPT(2022) · GPT-4(2023)

핵심:

유행이 아니라, 매 단계가 이전의 약점을 풀며 발전 (자세히 배우기의 표 참조)

Self-Attention의 원리

문장의 모든 단어가 서로를 동시에 바라보며 "누가 나와 관련 깊은지"를 따지는 방식

예시:

"그것은 길을 못 건넜다"에서 "그것"이 "강아지"를 강하게 바라봄

핵심:

멀리 떨어진 단어도 직접 연결 — 앞을 까먹던 RNN의 한계 해결

Query, Key, Value

각 단어를 질문(Q)·색인(K)·내용(V) 세 역할로 나눠 서로의 관련도를 계산

예시:

도서관 검색처럼 — 질문(Q)을 색인(K)과 맞춰 내용(V)을 가져옴

핵심:

검색 시스템(질의·색인·문서) 비유로 한 번에 이해

Scaled Dot-Product

관련도 점수가 너무 커지지 않게 살짝 눌러주는 안전장치

예시:

점수가 너무 크면 학습이 멈춤 → 적당히 나눠 안정시킴

핵심:

왜 나눌까? 점수 폭주로 학습이 멈추는 걸 막음 (자세히 배우기에서 증명)

Cross-Attention vs Causal

뒤(미래) 단어를 가리고 보느냐에 따라 모델의 쓰임이 갈림

예시:

GPT는 앞만 보고 다음 단어 생성 / BERT는 양쪽 다 봄

핵심:

가림(마스킹) 방식이 생성·이해·번역 용도를 결정

입력 임베딩과 포지셔널 인코딩

단어를 벡터로 변환 + 위치 정보를 sin/cos 패턴으로 주입

예시:

"I love AI"의 각 단어 → 512차원 벡터 + 위치 신호

핵심:

Self-Attention은 순서 정보가 없음 → 위치를 명시적으로 더함

멀티헤드 어텐션 블록

여러 어텐션 헤드가 동시에 다른 관점(문법·의미)으로 학습

예시:

GPT-2: 12 헤드, GPT-3: 96 헤드 — 각각 다른 패턴 포착

핵심:

한 모델 안에 여러 시각이 공존 → 표현력 증가

피드포워드 신경망 (FFN)

각 위치별로 독립적으로 적용되는 비선형 변환층

예시:

대부분 모델 파라미터의 60~70%가 FFN에 집중

핵심:

실제로 "지식"이 저장되는 곳 — 어텐션은 라우팅 역할

Layer Norm + Residual

잔차 연결과 정규화로 깊은 망의 학습을 안정화

예시:

12층(BERT-base) ~ 96층(GPT-3 175B)까지 안정 학습

핵심:

Pre-LN vs Post-LN — 최신 모델은 Pre-LN 선호

사전학습 (Pretraining)

대규모 코퍼스로 일반 언어 지식을 자기지도학습으로 습득

예시:

GPT-3: 570GB 텍스트 · LLaMA-2: 2조 토큰

핵심:

데이터 양·다양성·품질이 모델 능력의 상한선을 결정

MLM vs Auto-regressive

BERT(마스크 예측) vs GPT(다음 단어 예측) — 두 사전학습 패러다임

예시:

BERT: "나는 [MASK] 먹었다" / GPT: "나는 사과를" → "먹었다"

핵심:

BERT는 이해(분류)에, GPT는 생성에 강함

파인튜닝 (Fine-tuning)

사전학습된 모델을 특정 작업에 맞춰 추가 학습

예시:

Full FT · LoRA · QLoRA — 메모리·성능 트레이드오프

핵심:

전이학습 — 적은 데이터로도 새 작업 적응

Instruction Tuning & RLHF

지시 따르기 학습 + 사람 피드백 강화학습으로 정렬

예시:

GPT-3.5 → ChatGPT는 RLHF로 유용성·안전성 강화

핵심:

단순 언어 모델 → "도움이 되는 어시스턴트"로 진화

Zero-shot vs Few-shot

예시 없이(0-shot) 또는 몇 개 예시(few-shot)로 작업 유도

예시:

Few-shot: "긍정: 좋아요 / 부정: 별로 / 입력: 최고야 → ?"

핵심:

예시 1~5개로 충분 — 그 이상은 한계 효용 감소

Chain-of-Thought (CoT)

"단계별로 생각해보자" 등 추론 과정을 명시적으로 유도

예시:

수학 문제: 풀이 과정 작성을 요청 → 정답률 대폭 향상

핵심:

복잡한 추론 작업에서 정답률을 크게 끌어올림

역할 부여 (Role Prompting)

"너는 통계 전문가야" 같은 페르소나 부여로 답변 품질 조정

예시:

"전문가/입문자 입장에서 설명" — 톤·깊이 자동 조절

핵심:

톤·전문성·관점을 단번에 설정하는 강력한 기법

출력 형식 명시 & 자기 검증

JSON·표 등 출력 형식 지정 + 답변을 모델 스스로 검토하게 요청

예시:

"JSON으로 {key: value} 형태로 반환" / "오류 있는지 검토"

핵심:

후처리 비용 절감 + 환각(hallucination) 일부 완화

할루시네이션 (환각)

사실 확인 단계 없이 그럴듯한 다음 토큰을 고르기 때문에 없는 내용을 자신 있게 만들어 낸다

예시:

학습에 없는 조합도 태연히 완성 — 존재하지 않는 논문 제목·함수 이름

핵심:

거짓말이 아니라 구조의 결과 — 지식 컷오프 밖은 "모른다"는 자각조차 없다

RAG (검색 증강 생성)

질문 → 문서 검색 → 근거와 함께 생성. 모델을 재학습하지 않고 입력만 바꾼다

예시:

사내 문서를 근거로 답하는 챗봇 — 창고만 갱신하면 지식도 갱신

핵심:

할루시네이션을 없애는 기술이 아니라, 줄이고 출처로 확인 가능하게 만드는 기술

벡터 검색 (의미 검색)

질문과 문서를 같은 벡터 공간의 점으로 바꾸고 코사인 유사도로 가까운 것을 고른다

예시:

"환불"로 물어도 "반품" 문서를 찾아낸다 — 글자가 아니라 뜻으로

핵심:

RAG의 품질 상한은 검색 품질 — 고유명사·숫자는 어휘 검색이 유리해 하이브리드가 흔하다

AI 에이전트와 도구 사용

모델이 정해진 형식의 호출을 출력하면 시스템이 실행하고, 결과를 다시 모델에 넣는 반복 루프

예시:

생각 → 행동(검색·계산) → 관찰 → 다시 생각 (ReAct 패턴)

핵심:

모델이 도구를 직접 쓰는 게 아니라 "무엇을 쓸지" 지시할 뿐 — 실행 권한에는 안전 설계가 필요

효과적인 학습 및 탐구 방법
  • 먼저 Attention 수식(QKᵀ/√d_k)을 손으로 한 번 계산 — 직관이 단단해짐
  • "Attention is All You Need"(2017) 원논문 + Jay Alammar 일러스트 가이드 병행
  • BERT vs GPT 차이를 명확히 구분 — 마스킹 방식 = 모델 용도
  • 프롬프트 엔지니어링은 직접 실험 — 같은 작업을 5가지 방식으로 시도해 비교
  • 출력 검증과 윤리적 고려 필수 — 환각·편향·저작권 이슈를 항상 의식
  • HuggingFace·OpenAI·LLaMA 등 오픈소스 모델로 작은 규모부터 직접 돌려보기
실습으로 학습 완성하기

이론을 익혔다면 직접 LLM과 대화·실험으로 체화하세요

이론 메인으로LLM 실습처음부터 만들기