넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
기본 신경망 실습
뉴런 하나의 계산부터 역전파 한 스텝까지 — 신경망이 배우는 과정을 실제 숫자로
이 실습의 질문 — 신경망은 '어떻게' 배우는가? (가중치가 변하는 과정을 봅니다)
원하는 개념·랩·가이드를 검색해보세요
Ctrl K수천억 개로 추정되는 ChatGPT의 가중치도, 시작은 이 곱셈 한 줄입니다
ChatGPT 같은 거대 AI도 그 속을 열어보면 "입력에 가중치를 곱하고 더한다"는 단순한 계산의 반복입니다. 그런데 그 가중치는 누가 정해줄까요? 사람이 아니라 모델이 스스로 찾아냅니다 — 틀린 만큼(손실)을 측정하고, 어느 방향으로 고치면 덜 틀리는지(기울기)를 계산해서, 조금씩 수정하는 과정을 수만 번 반복하면서요. 이 실습에서는 뉴런 몇 개짜리 초소형 신경망으로 그 한 스텝 한 스텝을 실제 숫자로 눈앞에서 확인합니다. 여기서 본 원리가 그대로 커진 것이 오늘날의 딥러닝입니다.
이 페이지에서 배우고 나면
- 가중치와 편향을 직접 조절해 뉴런 하나의 출력이 어떻게 바뀌는지 예측하고 확인할 수 있습니다.
- "학습 1스텝 = 순전파 → 손실 → 기울기 → 가중치 수정"의 4단계를 실제 숫자 변화로 추적하며 설명할 수 있습니다.
- AND는 풀지만 XOR은 못 푸는 단층 퍼셉트론의 한계를 결정 경계로 시연하고, 은닉층이 왜 필요한지 말할 수 있습니다.
예측 먼저 — 실험 전에 답을 정해 보세요
예측 → 실험 → 확인
정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.
1. 역전파 "한 스텝"을 실행하면 손실은 얼마나 줄어들까요?
2. 단층 퍼셉트론이 XOR 문제를 못 푸는 이유는 무엇일까요?
1. 뉴런 하나 — 가중합과 활성화
뉴런 하나가 하는 일의 전부: 입력에 가중치를 곱해 더하고(z), 활성화 함수에 통과(a)시킵니다. 슬라이더를 움직여 실시간으로 계산을 확인하세요.입력 x₁ = 1.0
입력 x₂ = -0.5
가중치 w₁ = 0.8
가중치 w₂ = -0.4
편향 b = 0.1
z = w₁x₁ + w₂x₂ + b
= (0.8)(1.0) + (-0.4)(-0.5) + (0.1)
= 1.100
a = tanh(z) = 0.800
학습이란 이 w들과 b를 데이터에 맞게 자동으로 조정하는 일입니다 — 아래 2번에서 그 조정 한 번이 실제로 어떻게 일어나는지 봅니다. 활성화 함수의 종류와 역할이 궁금하면 활성화 함수 실습에서 다룹니다 (여기서는 tanh로 고정).2. 역전파 한 스텝 해부 — 파라미터 12개 전부 지켜보기
2-2-2 초소형 신경망에 표본 하나(x = (1.0, −0.5), 정답 = 클래스 1)를 넣고, 버튼을 누를 때마다 실제 순전파 → 손실 → 역전파 기울기 → 갱신(w ← w − η·g, η = 0.05, SGD)을 수행합니다. 표의 모든 숫자가 진짜 계산값입니다.3. 퍼셉트론의 한계 — 은닉층이 필요한 순간
같은 데이터에 은닉층 없는 모델(직선 하나)과 은닉층 4뉴런 모델을 동시에 실제 학습시켜 결정 경계를 비교합니다.이 그림 읽는 법 (30초) — 가로·세로축은 두 입력값(x₁, x₂)이고, 그림 위의 모든 위치가 "이런 입력이 오면?"이라는 질문입니다. 바탕색은 모델의 대답(파랑 = 클래스 0, 주황 = 클래스 1, 옅은 곳 = 확신 없음)이고 점은 실제 데이터(점 색 = 정답)입니다. 점 색과 바탕색이 일치하면 맞힌 것입니다. 두 색이 만나는 경계선이 모델이 배운 구분 기준입니다 — 점은 세상, 바탕색은 모델의 생각.
실측 요약 — 이 실습이 보여주는 것
뉴런 하나의 z = w₁x₁+w₂x₂+b, a = tanh(z) 계산을 슬라이더로 실시간 확인하고, 2-2-2 초소형 신경망의 파라미터 12개 전부에 대해 순전파→손실→역전파 기울기→SGD 갱신(η=0.05) 한 스텝을 표로 해부하며, AND vs XOR에 은닉층 유무 두 모델을 동시 학습시켜 결정 경계를 비교하는 실험입니다.
- 기본값 실계산: x=(1.0, −0.5), w=(0.8, −0.4), b=0.1이면 z = 0.8+0.2+0.1 = 1.10, a = tanh(1.10) = 0.800 — 뉴런 하나가 하는 일의 전부가 이 두 줄이다
- 해부 모델 2-2-2는 정확히 파라미터 12개(가중치 8 + 편향 4)이고, 표의 전값·기울기·후값은 전부 실제 계산이며 갱신 규칙은 w ← w − 0.05·g — 한 스텝의 손실 감소는 미미해서, 학습은 이 미세 수정의 수천 번 누적이다
- XOR에서 은닉층 없는 모델의 이론 상한은 75%(직선 하나는 네 무리 중 세 무리까지) — 1969년 Minsky-Papert가 증명한 단층 퍼셉트론의 표현 한계이며, 은닉 4뉴런 모델은 같은 데이터를 굽은 경계로 가른다
바로잡는 오개념: "역전파 한 스텝이면 정답 근처까지 크게 배운다"는 착각 — 한 스텝은 기울기 방향으로 학습률만큼만 움직이는 미세 수정이라, 실제 학습에는 수천~수만 스텝의 누적이 필요하다.
AI 튜터에게 물어보기
베타
— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.
예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”
직접 해보기 — 실습 과제
- 가중치 0의 의미: 1번 실험에서 w₁을 0으로 놓고 x₁을 이리저리 움직여 보세요. 출력이 전혀 변하지 않습니다. 가중치는 "이 입력을 얼마나 중요하게 볼지"의 크기이고, 0이면 그 입력을 무시한다는 뜻입니다 — 신비한 숫자가 아닙니다.
- 편향의 역할: w들은 그대로 두고 b만 크게/작게 움직여 보세요. 출력이 통째로 올라가고 내려갑니다. 편향은 뉴런이 켜지는 기준점(문턱)을 옮기는 손잡이입니다.
- 학습은 도약이 아니라 미세 수정: 2번 실험에서 "한 스텝"을 딱 1번 누르고 손실 변화를 보세요. 아주 조금만 줄어듭니다. AI는 한 번에 정답을 깨닫지 않습니다 — 그래서 실제 학습에는 수천, 수만 스텝이 필요합니다.
- 수렴의 실체: "한 스텝"을 20~30번 연타하며 손실 흐름을 보세요. 초반엔 가파르게, 나중엔 완만하게 줄어듭니다. 정답에 가까울수록 기울기가 작아져 수정 폭도 줄어드는 것 — 이것이 "학습이 수렴한다"의 실체입니다.
- 표현 불가능 vs 성능 부족: 3번 실험을 AND → XOR 순서로 실행하세요. AND는 은닉층 없이도 풀리지만, XOR에서는 은닉층 없는 모델이 어떤 직선을 그어도 실패하고 은닉층 모델은 성공하는 경향이 있습니다(드물게 초기값이 나빠 실패하면 다시 학습). 단층의 한계는 "성능 부족"이 아니라 "표현 불가능"입니다 — 컴퓨터가 느려서 못 푼 것이 아닙니다.
개념 정리 — 퍼셉트론에서 역전파까지
- 1958 — Rosenblatt의 퍼셉트론: 가중합+문턱으로 분류를 학습하는 최초기 신경망.
- 1969 — Minsky & Papert, "Perceptrons": 단층 퍼셉트론이 XOR 같은 선형 분리 불가능 문제를 표현할 수 없음을 수학적으로 지적. 이 책은 신경망 연구 축소와 이른바 "AI 겨울" 논의와 자주 연결됩니다 (다층이면 표현은 가능하지만 당시엔 학습 방법이 정착되지 않았습니다).
- 1986 — Rumelhart, Hinton & Williams가 역전파 학습을 대중화: 은닉층의 가중치를 학습할 수 있게 되며 XOR류 문제가 풀렸고, 오늘날 딥러닝 학습의 뼈대가 됐습니다.
- 2번 실험에서 본 것의 정체: 순전파(예측) → 손실(정답 확률의 −log) → 역전파(각 가중치가 손실에 미친 영향 = 기울기) → 갱신(w ← w − η·g). 이 네 박자가 모든 신경망 학습의 공통 뼈대입니다.
더 깊이 학습하기
- Rosenblatt (1958), Psychological Review: "The Perceptron" — 퍼셉트론 원논문
- Minsky & Papert (1969): "Perceptrons" (MIT Press) — 단층의 표현 한계 증명
- Rumelhart, Hinton & Williams (1986), Nature: "Learning representations by back-propagating errors"
- Goodfellow, Bengio & Courville (2016): "Deep Learning" (MIT Press) — 6장 순전파·역전파