넘스탯

DATA ANALYTICS & INSIGHTS

확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼

학습 메뉴

도움말

홈

기본 신경망 실습

뉴런 하나의 계산부터 역전파 한 스텝까지 — 신경망이 배우는 과정을 실제 숫자로

이 실습의 질문 — 신경망은 '어떻게' 배우는가? (가중치가 변하는 과정을 봅니다)

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

딥러닝 실습실로 신경망 상세 이론

수천억 개로 추정되는 ChatGPT의 가중치도, 시작은 이 곱셈 한 줄입니다

ChatGPT 같은 거대 AI도 그 속을 열어보면 "입력에 가중치를 곱하고 더한다"는 단순한 계산의 반복입니다. 그런데 그 가중치는 누가 정해줄까요? 사람이 아니라 모델이 스스로 찾아냅니다 — 틀린 만큼(손실)을 측정하고, 어느 방향으로 고치면 덜 틀리는지(기울기)를 계산해서, 조금씩 수정하는 과정을 수만 번 반복하면서요. 이 실습에서는 뉴런 몇 개짜리 초소형 신경망으로 그 한 스텝 한 스텝을 실제 숫자로 눈앞에서 확인합니다. 여기서 본 원리가 그대로 커진 것이 오늘날의 딥러닝입니다.

이 페이지에서 배우고 나면

가중치와 편향을 직접 조절해 뉴런 하나의 출력이 어떻게 바뀌는지 예측하고 확인할 수 있습니다.
"학습 1스텝 = 순전파 → 손실 → 기울기 → 가중치 수정"의 4단계를 실제 숫자 변화로 추적하며 설명할 수 있습니다.
AND는 풀지만 XOR은 못 푸는 단층 퍼셉트론의 한계를 결정 경계로 시연하고, 은닉층이 왜 필요한지 말할 수 있습니다.

이 실습은 실제 계산입니다 — 그리고 정직한 한계가 있습니다

활성값·손실·기울기·가중치 변화·결정 경계는 전부 브라우저에서 지금 계산되는 실제 값입니다(기울기는 수치 미분과 대조 검증됨). 함께 기억할 것:

이 신경망은 실제 딥러닝 모델의 수백만분의 일 크기입니다. 원리는 같지만, 실제 모델의 행동 전부가 이 작은 망으로 설명되지는 않습니다.
"뉴런"이라는 이름은 생물학에서 영감을 받은 비유일 뿐, 이 계산이 뇌의 작동을 재현하는 것은 아닙니다.
단순화 고정: 활성화는 tanh, 옵티마이저는 순수 SGD(2번 실험), Adam(3번 실험)으로 고정했습니다. 각 부품의 선택지가 궁금하면 활성화 함수·손실 함수·옵티마이저 실습에서 다룹니다.
같은 망도 무작위 초기값에 따라 수렴 속도와 결과가 달라집니다 — "새 무작위 가중치로 초기화"로 직접 확인하세요.

1. 뉴런 하나 — 가중합과 활성화

뉴런 하나가 하는 일의 전부: 입력에 가중치를 곱해 더하고(z), 활성화 함수에 통과(a)시킵니다. 슬라이더를 움직여 실시간으로 계산을 확인하세요.

입력 x₁ = 1.0

입력 x₂ = -0.5

가중치 w₁ = 0.8

가중치 w₂ = -0.4

편향 b = 0.1

z = w₁x₁ + w₂x₂ + b
= (0.8)(1.0) + (-0.4)(-0.5) + (0.1)
= 1.100

a = tanh(z) = 0.800

학습이란 이 w들과 b를 데이터에 맞게 자동으로 조정하는 일입니다 — 아래 2번에서 그 조정 한 번이 실제로 어떻게 일어나는지 봅니다. 활성화 함수의 종류와 역할이 궁금하면 활성화 함수 실습에서 다룹니다 (여기서는 tanh로 고정).

2. 역전파 한 스텝 해부 — 파라미터 12개 전부 지켜보기

2-2-2 초소형 신경망에 표본 하나(x = (1.0, −0.5), 정답 = 클래스 1)를 넣고, 버튼을 누를 때마다 실제 순전파 → 손실 → 역전파 기울기 → 갱신(w ← w − η·g, η = 0.05, SGD)을 수행합니다. 표의 모든 숫자가 진짜 계산값입니다.

3. 퍼셉트론의 한계 — 은닉층이 필요한 순간

같은 데이터에 은닉층 없는 모델(직선 하나)과 은닉층 4뉴런 모델을 동시에 실제 학습시켜 결정 경계를 비교합니다.

이 그림 읽는 법 (30초) — 가로·세로축은 두 입력값(x₁, x₂)이고, 그림 위의 모든 위치가 "이런 입력이 오면?"이라는 질문입니다. 바탕색은 모델의 대답(파랑 = 클래스 0, 주황 = 클래스 1, 옅은 곳 = 확신 없음)이고 점은 실제 데이터(점 색 = 정답)입니다. 점 색과 바탕색이 일치하면 맞힌 것입니다. 두 색이 만나는 경계선이 모델이 배운 구분 기준입니다 — 점은 세상, 바탕색은 모델의 생각.

직접 해보기 — 실습 과제

가중치 0의 의미: 1번 실험에서 w₁을 0으로 놓고 x₁을 이리저리 움직여 보세요. 출력이 전혀 변하지 않습니다. 가중치는 "이 입력을 얼마나 중요하게 볼지"의 크기이고, 0이면 그 입력을 무시한다는 뜻입니다 — 신비한 숫자가 아닙니다.
편향의 역할: w들은 그대로 두고 b만 크게/작게 움직여 보세요. 출력이 통째로 올라가고 내려갑니다. 편향은 뉴런이 켜지는 기준점(문턱)을 옮기는 손잡이입니다.
학습은 도약이 아니라 미세 수정: 2번 실험에서 "한 스텝"을 딱 1번 누르고 손실 변화를 보세요. 아주 조금만 줄어듭니다. AI는 한 번에 정답을 깨닫지 않습니다 — 그래서 실제 학습에는 수천, 수만 스텝이 필요합니다.
수렴의 실체: "한 스텝"을 20~30번 연타하며 손실 흐름을 보세요. 초반엔 가파르게, 나중엔 완만하게 줄어듭니다. 정답에 가까울수록 기울기가 작아져 수정 폭도 줄어드는 것 — 이것이 "학습이 수렴한다"의 실체입니다.
표현 불가능 vs 성능 부족: 3번 실험을 AND → XOR 순서로 실행하세요. AND는 은닉층 없이도 풀리지만, XOR에서는 은닉층 없는 모델이 어떤 직선을 그어도 실패하고 은닉층 모델은 성공하는 경향이 있습니다(드물게 초기값이 나빠 실패하면 다시 학습). 단층의 한계는 "성능 부족"이 아니라 "표현 불가능"입니다 — 컴퓨터가 느려서 못 푼 것이 아닙니다.

개념 정리 — 퍼셉트론에서 역전파까지

1958 — Rosenblatt의 퍼셉트론: 가중합+문턱으로 분류를 학습하는 최초기 신경망.
1969 — Minsky & Papert, "Perceptrons": 단층 퍼셉트론이 XOR 같은 선형 분리 불가능 문제를 표현할 수 없음을 수학적으로 지적. 이 책은 신경망 연구 축소와 이른바 "AI 겨울" 논의와 자주 연결됩니다 (다층이면 표현은 가능하지만 당시엔 학습 방법이 정착되지 않았습니다).
1986 — Rumelhart, Hinton & Williams가 역전파 학습을 대중화: 은닉층의 가중치를 학습할 수 있게 되며 XOR류 문제가 풀렸고, 오늘날 딥러닝 학습의 뼈대가 됐습니다.
2번 실험에서 본 것의 정체: 순전파(예측) → 손실(정답 확률의 −log) → 역전파(각 가중치가 손실에 미친 영향 = 기울기) → 갱신(w ← w − η·g). 이 네 박자가 모든 신경망 학습의 공통 뼈대입니다.

이 실습에서 고정한 부품들이 궁금하다면: 활성화 함수 · 손실 함수 · 옵티마이저 실습에서 하나씩 열어봅니다.

다음: 은닉층 하나가 XOR을 풀었습니다. 그럼 둘이면? 셋이면?

다음 실습에서 층과 뉴런 수를 마음대로 조절하며, 신경망의 크기가 풀 수 있는 문제의 한계를 어떻게 바꾸는지 — 그리고 크기가 지나치면 무슨 부작용이 생기는지 확인합니다. 이 페이지의 마지막 실험(XOR)이 다음 페이지의 첫 실험입니다.

더 깊이 학습하기

Rosenblatt (1958), Psychological Review: "The Perceptron" — 퍼셉트론 원논문
Minsky & Papert (1969): "Perceptrons" (MIT Press) — 단층의 표현 한계 증명
Rumelhart, Hinton & Williams (1986), Nature: "Learning representations by back-propagating errors"
Goodfellow, Bengio & Courville (2016): "Deep Learning" (MIT Press) — 6장 순전파·역전파