통계 실험실 차트
넘스탯 로고

넘스탯

DATA ANALYTICS & INSIGHTS

확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼

도움말
홈

LLM 처음부터 만들기

토큰 한 개에서 챗봇까지 — 8개 챕터 · 48강 · 영상 + 인터랙티브 학습
전체 진행률
0/48
🏠 시작하기
1

Ch.1 LLM 이해

0/3강
2

Ch.2 텍스트 데이터

0/6강
3

Ch.3 어텐션

0/8강
4

Ch.4 GPT 조립

0/7강
5

Ch.5 사전학습

0/8강
6

Ch.6 분류 파인튜닝

0/6강
7

Ch.7 명령 파인튜닝

0/5강
8

Ch.8 할루시네이션

0/5강
시작하기

토큰 한 개에서 챗봇까지 — LLM의 모든 부품을 직접 만들다

챗GPT 같은 LLM이 어떻게 돌아가는지 원리를 이해하고, 결국엔 여러분 손으로 작은 LLM을 빌드할 수 있게 해주는 독립된 커리큘럼이에요. 영상으로 큰 그림을 잡고, 강의 카드를 펼쳐 세부 내용을 학습하세요.

전체 로드맵 — 8개의 산
  1. Ch.1 LLM 이해 — 이 기계가 무슨 일을 하는지 큰 그림
  2. Ch.2 텍스트 데이터 — 글을 모델이 먹을 수 있는 숫자로
  3. Ch.3 어텐션 — LLM의 심장, 집중의 메커니즘
  4. Ch.4 GPT 조립 — 트랜스포머 블록과 전체 모델 코드
  5. Ch.5 사전학습 — 거대한 텍스트로 모델을 똑똑하게
  6. Ch.6 분류 파인튜닝 — 특정 업무로 바꿔 쓰기
  7. Ch.7 명령 파인튜닝 — 챗봇처럼 말하게 만들기
  8. Ch.8 할루시네이션 — AI가 거짓말하는 이유와 대처법
총 48강. 왼쪽에서 챕터를 누르면 영상 + 강의 카드 + 퀴즈로 이동합니다.
먼저 알고 갈 한 줄
“지금까지의 글을 보고, 다음에 올 토큰 한 개를 맞힌다.”

이 단순한 일을 엄청 잘하는 계산 장치를 만드는 것 — 그게 우리의 최종 목표예요.

직접 만들려면 뭐가 필요해요?
  • Python 3.10+ — 기초 문법만 알면 충분
  • PyTorch — 신경망 라이브러리. pip install torch
  • GPU — 있으면 좋지만 없어도 됨. 작은 모델은 CPU 가능, 큰 모델은 Colab 무료 GPU 활용
  • 참고 구현체: Karpathy의 nanoGPT — 300줄짜리 GPT
완주하면 할 수 있는 것
  • “트랜스포머 논문의 그림”을 보고 각 블록이 뭘 하는지 설명할 수 있음
  • 직접 토크나이저를 짜고, 미니 GPT를 PyTorch로 구현할 수 있음
  • 사전학습된 가중치를 불러와 내가 만든 구조에 얹어 볼 수 있음
  • 스팸 분류기, 간단 챗봇 등 파인튜닝 프로젝트를 설계할 수 있음