넘스탯

DATA ANALYTICS & INSIGHTS

확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼

학습 메뉴

도움말

홈

대규모 언어모델의 핵심 원리

대규모 언어모델(LLM)의 원리·구조·학습 방법을 Transformer부터 프롬프트 엔지니어링까지 체계적으로 학습하세요

Transformer 원리

Attention 메커니즘

실전 프롬프트

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

NEW · 영상 강의

8개 챕터 · 43강

토큰 한 개에서 챗봇까지 — LLM 처음부터 만들기

이론을 넘어 직접 GPT를 빌드하고 싶다면 새로운 커리큘럼을 추천합니다. 토큰화 → 어텐션 → 트랜스포머 → 사전학습 → 파인튜닝 → 할루시네이션까지 PyTorch 코드와 영상 강의로 단계별 학습합니다.

토큰화 (Tokenization)

문장을 모델이 처리할 수 있는 작은 단위(토큰)로 분할

예시:

BPE(GPT), WordPiece(BERT), SentencePiece(LLaMA)

핵심:

어휘 크기 vs 시퀀스 길이 — 트레이드오프 설계

단어 임베딩 (Embedding)

단어를 의미를 담은 고차원 벡터 공간에 매핑

예시:

Word2Vec(2013), GloVe — "king - man + woman ≈ queen"

핵심:

의미적 유사성이 벡터 공간 거리로 표현

언어 모델의 정의

단어 시퀀스의 확률을 계산하거나 다음 단어를 예측하는 모델

예시:

N-gram → RNN/LSTM → Transformer → GPT-4

핵심:

P(다음 단어 | 이전 단어들) — 모든 LLM의 출발점

언어 모델의 발전사

통계적(N-gram) → 신경망(Word2Vec) → RNN/LSTM → Transformer → LLM

예시:

BERT(2018) · GPT-3(2020) · ChatGPT(2022) · GPT-4(2023)

핵심:

병렬 처리(Transformer) + 데이터·파라미터 스케일링 = LLM

입력 임베딩과 포지셔널 인코딩

단어를 벡터로 변환 + 위치 정보를 sin/cos 패턴으로 주입

예시:

"I love AI"의 각 단어 → 512차원 벡터 + 위치 신호

핵심:

Self-Attention은 순서 정보가 없음 → 위치를 명시적으로 더함

멀티헤드 어텐션 블록

여러 어텐션 헤드가 동시에 다른 관점(문법·의미)으로 학습

예시:

GPT-2: 12 헤드, GPT-3: 96 헤드 — 각각 다른 패턴 포착

핵심:

한 모델 안에 여러 시각이 공존 → 표현력 증가

피드포워드 신경망 (FFN)

각 위치별로 독립적으로 적용되는 비선형 변환층

예시:

대부분 모델 파라미터의 60~70%가 FFN에 집중

핵심:

실제로 "지식"이 저장되는 곳 — 어텐션은 라우팅 역할

Layer Norm + Residual

잔차 연결과 정규화로 깊은 망의 학습을 안정화

예시:

12층(BERT-base) ~ 96층(GPT-3 175B)까지 안정 학습

핵심:

Pre-LN vs Post-LN — 최신 모델은 Pre-LN 선호

Self-Attention의 원리

시퀀스 내 모든 토큰이 서로를 참조해 가중치를 동적으로 학습

예시:

"고양이가 매트 위에 앉다" → "앉다"가 "고양이"를 강하게 참조

핵심:

거리에 무관하게 직접 연결 — RNN의 장기 의존성 한계 해결

Query, Key, Value

각 토큰을 세 가지 역할(질문·열쇠·값)의 벡터로 분리

예시:

Attention(Q,K,V) = softmax(QKᵀ/√d_k) · V

핵심:

검색 시스템의 (질의·인덱스·문서) 비유로 직관 가능

Scaled Dot-Product

QK 내적을 √d_k로 나눠 Gradient 안정성을 확보

예시:

d_k=64 → √64=8로 나눠 softmax 포화 방지

핵심:

큰 차원에서 내적값이 폭주하는 것을 방지하는 핵심 트릭

Cross-Attention vs Causal

Encoder-Decoder(Cross) vs Decoder-only 자기회귀(Causal Mask)

예시:

GPT: Causal(미래 마스크) / BERT: 양방향 / T5: Encoder-Decoder

핵심:

마스크 방식이 모델 용도(생성·이해·번역)를 결정

사전학습 (Pretraining)

대규모 코퍼스로 일반 언어 지식을 자기지도학습으로 습득

예시:

GPT-3: 570GB 텍스트 · LLaMA-2: 2조 토큰

핵심:

데이터 양·다양성·품질이 모델 능력의 상한선을 결정

MLM vs Auto-regressive

BERT(마스크 예측) vs GPT(다음 단어 예측) — 두 사전학습 패러다임

예시:

BERT: "나는 [MASK] 먹었다" / GPT: "나는 사과를" → "먹었다"

핵심:

BERT는 이해(분류)에, GPT는 생성에 강함

파인튜닝 (Fine-tuning)

사전학습된 모델을 특정 작업에 맞춰 추가 학습

예시:

Full FT · LoRA · QLoRA — 메모리·성능 트레이드오프

핵심:

전이학습 — 적은 데이터로도 새 작업 적응

Instruction Tuning & RLHF

지시 따르기 학습 + 사람 피드백 강화학습으로 정렬

예시:

GPT-3.5 → ChatGPT는 RLHF로 유용성·안전성 강화

핵심:

단순 언어 모델 → "도움이 되는 어시스턴트"로 진화

Zero-shot vs Few-shot

예시 없이(0-shot) 또는 몇 개 예시(few-shot)로 작업 유도

예시:

Few-shot: "긍정: 좋아요 / 부정: 별로 / 입력: 최고야 → ?"

핵심:

예시 1~5개로 충분 — 그 이상은 한계 효용 감소

Chain-of-Thought (CoT)

"단계별로 생각해보자" 등 추론 과정을 명시적으로 유도

예시:

수학 문제: 풀이 과정 작성을 요청 → 정답률 대폭 향상

핵심:

복잡한 추론 작업에서 정답률을 크게 끌어올림

역할 부여 (Role Prompting)

"너는 통계 전문가야" 같은 페르소나 부여로 답변 품질 조정

예시:

"전문가/입문자 입장에서 설명" — 톤·깊이 자동 조절

핵심:

톤·전문성·관점을 단번에 설정하는 강력한 기법

출력 형식 명시 & 자기 검증

JSON·표 등 출력 형식 지정 + 답변을 모델 스스로 검토하게 요청

예시:

"JSON으로 {key: value} 형태로 반환" / "오류 있는지 검토"

핵심:

후처리 비용 절감 + 환각(hallucination) 일부 완화

효과적인 학습 및 탐구 방법

먼저 Attention 수식(QKᵀ/√d_k)을 손으로 한 번 계산 — 직관이 단단해짐
"Attention is All You Need"(2017) 원논문 + Jay Alammar 일러스트 가이드 병행
BERT vs GPT 차이를 명확히 구분 — 마스킹 방식 = 모델 용도
프롬프트 엔지니어링은 직접 실험 — 같은 작업을 5가지 방식으로 시도해 비교

HuggingFace·OpenAI·LLaMA 등 오픈소스 모델로 작은 규모부터 직접 돌려보기

실습으로 학습 완성하기

이론을 익혔다면 직접 LLM과 대화·실험으로 체화하세요

넘스탯

DATA ANALYTICS & INSIGHTS

대규모 언어모델의 핵심 원리

대규모 언어모델(LLM)의 원리·구조·학습 방법을 Transformer부터 프롬프트 엔지니어링까지 체계적으로 학습하세요

토큰 한 개에서 챗봇까지 — LLM 처음부터 만들기

자연어 처리와 언어 모델의 기초

토큰화 (Tokenization)

단어 임베딩 (Embedding)

언어 모델의 정의

언어 모델의 발전사

Transformer 구조 — LLM의 뼈대

입력 임베딩과 포지셔널 인코딩

멀티헤드 어텐션 블록

피드포워드 신경망 (FFN)

Layer Norm + Residual

Attention 메커니즘 — 모든 것을 바꾼 아이디어

Self-Attention의 원리

Query, Key, Value

Scaled Dot-Product

Cross-Attention vs Causal

사전학습 & 파인튜닝 — LLM이 똑똑해지는 과정

사전학습 (Pretraining)

MLM vs Auto-regressive

파인튜닝 (Fine-tuning)

Instruction Tuning & RLHF

프롬프트 엔지니어링 — LLM과 대화하는 기술

Zero-shot vs Few-shot

Chain-of-Thought (CoT)

역할 부여 (Role Prompting)

출력 형식 명시 & 자기 검증

효과적인 학습 및 탐구 방법

실습으로 학습 완성하기

대규모 언어모델의 핵심 원리

대규모 언어모델(LLM)의 원리·구조·학습 방법을 Transformer부터 프롬프트 엔지니어링까지 체계적으로 학습하세요

토큰 한 개에서 챗봇까지 — LLM 처음부터 만들기

자연어 처리와 언어 모델의 기초

토큰화 (Tokenization)

단어 임베딩 (Embedding)

언어 모델의 정의

언어 모델의 발전사

.css-1ymkfue{color:#6366f1;}Transformer 구조 — LLM의 뼈대

Transformer 구조 — LLM의 뼈대

입력 임베딩과 포지셔널 인코딩

멀티헤드 어텐션 블록

피드포워드 신경망 (FFN)

Layer Norm + Residual

.css-1soedxw{color:#10b981;}Attention 메커니즘 — 모든 것을 바꾼 아이디어

Attention 메커니즘 — 모든 것을 바꾼 아이디어

Self-Attention의 원리

Query, Key, Value

Scaled Dot-Product

Cross-Attention vs Causal

사전학습 & 파인튜닝 — LLM이 똑똑해지는 과정

사전학습 & 파인튜닝 — LLM이 똑똑해지는 과정

사전학습 (Pretraining)

MLM vs Auto-regressive

파인튜닝 (Fine-tuning)

Instruction Tuning & RLHF

.css-1bq43kb{color:#8b5cf6;}프롬프트 엔지니어링 — LLM과 대화하는 기술

프롬프트 엔지니어링 — LLM과 대화하는 기술

Zero-shot vs Few-shot

Chain-of-Thought (CoT)

역할 부여 (Role Prompting)

출력 형식 명시 & 자기 검증

효과적인 학습 및 탐구 방법

실습으로 학습 완성하기