LLM 처음부터 만들기

토큰 한 개에서 챗봇까지 — 8개 챕터 · 48강 · 영상 + 인터랙티브 학습

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

GPT를 이해하는 가장 확실한 방법은 직접 만들어 보는 것

LLM이 어떻게 작동하는지 설명을 읽는 것과, 토큰화부터 어텐션·트랜스포머까지 직접 PyTorch로 쌓아 올려 작은 GPT를 돌려보는 것은 이해의 깊이가 다릅니다. 이 커리큘럼은 라이브러리에 기대지 않고 핵심 부품을 하나씩 손으로 구현하며 LLM의 내부를 완전히 열어봅니다.

이 페이지에서 배우고 나면

토큰화·임베딩·어텐션·트랜스포머 블록을 직접 구현해 작은 GPT를 만들 수 있습니다.
사전학습과 파인튜닝이 코드 수준에서 무엇이 다른지 이해할 수 있습니다.
각 부품이 왜 필요한지, 빼면 무엇이 무너지는지 설명할 수 있습니다.

전체 진행률

0/48

시작하기

Ch.1 LLM 이해

0/3강

Ch.2 텍스트 데이터

0/6강

Ch.3 어텐션

0/8강

Ch.4 GPT 조립

0/7강

Ch.5 사전학습

0/8강

Ch.6 분류 파인튜닝

0/6강

Ch.7 명령 파인튜닝

0/5강

Ch.8 할루시네이션

0/5강

시작하기

토큰 한 개에서 챗봇까지 — LLM의 모든 부품을 직접 만들다

챗GPT 같은 LLM이 어떻게 돌아가는지 원리를 이해하고, 결국엔 여러분 손으로 작은 LLM을 빌드할 수 있게 해주는 독립된 커리큘럼이에요. 영상으로 큰 그림을 잡고, 강의 카드를 펼쳐 세부 내용을 학습하세요.

전체 로드맵 — 8개의 산

Ch.1 LLM 이해 — 이 기계가 무슨 일을 하는지 큰 그림
Ch.2 텍스트 데이터 — 글을 모델이 먹을 수 있는 숫자로
Ch.3 어텐션 — LLM의 심장, 집중의 메커니즘
Ch.4 GPT 조립 — 트랜스포머 블록과 전체 모델 코드
Ch.5 사전학습 — 거대한 텍스트로 모델을 똑똑하게
Ch.6 분류 파인튜닝 — 특정 업무로 바꿔 쓰기
Ch.7 명령 파인튜닝 — 챗봇처럼 말하게 만들기
Ch.8 할루시네이션 — AI가 거짓말하는 이유와 대처법

총 48강. 왼쪽에서 챕터를 누르면 영상 + 강의 카드 + 퀴즈로 이동합니다.

먼저 알고 갈 한 줄

“지금까지의 글을 보고, 다음에 올 토큰 한 개를 맞힌다.”

이 단순한 일을 엄청 잘하는 계산 장치를 만드는 것 — 그게 우리의 최종 목표예요.

직접 만들려면 뭐가 필요해요?

Python 3.10+ — 기초 문법만 알면 충분
PyTorch — 신경망 라이브러리. pip install torch
GPU — 있으면 좋지만 없어도 됨. 작은 모델은 CPU 가능, 큰 모델은 Colab 무료 GPU 활용
참고 구현체: Karpathy의 nanoGPT — 300줄짜리 GPT

완주하면 할 수 있는 것

“트랜스포머 논문의 그림”을 보고 각 블록이 뭘 하는지 설명할 수 있음
직접 토크나이저를 짜고, 미니 GPT를 PyTorch로 구현할 수 있음
사전학습된 가중치를 불러와 내가 만든 구조에 얹어 볼 수 있음
스팸 분류기, 간단 챗봇 등 파인튜닝 프로젝트를 설계할 수 있음

'이해했어요' 버튼으로 진도를 체크할 수 있어요. 진행률은 이 브라우저에 저장됩니다.