LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
활성화 함수 실습실
Sigmoid · Tanh · ReLU · Leaky ReLU · GELU — 비선형성이 신경망을 가능하게 한다
원하는 개념·랩·가이드를 검색해보세요
Ctrl K선을 그어서는 풀 수 없는 문제, 비선형이 답이다
이 페이지에서 배우고 나면
- 활성화 함수가 없으면 왜 층을 쌓아도 소용없는지 이해할 수 있습니다.
- ReLU·Sigmoid·Tanh의 모양과 특성 차이를 직접 비교할 수 있습니다.
- 활성화 함수 선택이 학습에 어떤 영향을 주는지 관찰할 수 있습니다.
📐 5종 활성화 함수 한눈에 보기
왼쪽은 함수 자체, 오른쪽은 미분. 미분이 곧 gradient의 원천이므로 미분 모양이 학습 동작을 결정합니다.
5종 활성화 함수와 그 미분 — Sigmoid·Tanh·ReLU·Leaky ReLU·GELU예측 먼저 — 실험 전에 답을 정해 보세요
정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.
1. 활성화 함수 없이 선형 층만 100개를 쌓으면 어떻게 될까요?
2. 요즘 은닉층의 기본값이 시그모이드가 아니라 ReLU인 주된 이유는?
활성화 함수 인터랙티브 비교
5종 활성화 함수의 모양과 미분을 동시에 비교하고, 특정 입력값에서의 정확한 값을 슬라이더로 확인하세요.
표시할 활성화 함수
입력값 x = 0.50
Leaky ReLU α = 0.10
α=0이면 일반 ReLU와 동일활성화 함수 f(x)— 좌축: Bounded(Sigmoid/Tanh), 우축: Unbounded(ReLU 계열)
미분 f'(x) — Gradient의 원천
x = 0.50에서의 값 비교
깊이 효과: 10층에서 활성화 미분 곱
실측 요약 — 이 실습이 보여주는 것
Sigmoid·Tanh·ReLU·Leaky ReLU·GELU 5종 활성화 함수의 그래프와 미분을 입력 x(−6~6)·α(0~0.5) 슬라이더로 움직이며 정확한 값으로 비교하고, 깊이 슬라이더(1~30층)로 (평균 미분)^층수의 누적 곱이 소실 영역에 들어가는 순간을 확인하는 실험입니다.
- 시그모이드 미분의 최대값은 x=0에서 정확히 0.25이고 x=5에서는 0.0066으로 포화한다 — 최대값 0.25로만 10층을 곱해도 0.25¹⁰ ≈ 9.5×10⁻⁷으로 학습 신호가 백만분의 일이 된다
- ReLU는 양수 미분 1·음수 미분 0(Dead ReLU), Leaky ReLU는 α=0.1이면 음수에서도 미분 0.1이 유지된다. GELU(tanh 근사식)는 x=−2에서도 미분 −0.086으로 완전한 0이 아니다 — 꺾임 대신 부드러운 음수 기울기
- 깊이 효과 패널의 학습 초기 평균 미분(Sigmoid 0.15·Tanh 0.4·ReLU 0.5)으로 실계산하면 Sigmoid는 10층에 5.8×10⁻⁹, 15층에 4.4×10⁻¹³ — ReLU(0.5)조차 30층 누적은 약 10⁻⁹라, 깊은 망에는 활성화 교체 외에 초기화·잔차 연결이 함께 필요하다
바로잡는 오개념: "활성화 함수 없이 층만 쌓아도 깊은 모델이 된다"는 착각 — 선형 변환의 합성은 선형 하나로 접히므로 100층을 쌓아도 표현력은 1층과 같고, 비선형 활성화가 있어야 깊이가 표현력이 된다.
AI 튜터에게 물어보기
— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.
예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”
📉 Sigmoid의 포화 문제 — Vanishing의 원흉
Sigmoid 미분의 최대값은 0.25, 양 끝에서는 거의 0. 10층 깊이만 누적되어도 gradient 곱이0.25¹⁰ ≈ 1e-6로 사라집니다 — 2010년대 이전 깊은 신경망 학습 실패의 주된 원인이었습니다.
Sigmoid의 양 끝 포화 영역: 미분이 거의 0이 되어 gradient가 사라짐💀 Dead ReLU 문제와 Leaky ReLU의 해결책
ReLU는 음수 영역 미분이 정확히 0. 학습 중 어떤 뉴런이 한 번 음수 입력만 받게 되면 gradient가 0이어서 영원히 학습되지 않습니다 — Dead ReLU. Leaky ReLU는 작은 음수 기울기 α를 두어 이를 방지합니다.
ReLU의 Dead 뉴런 증가 vs Leaky ReLU의 안정 활성깊이 누적 효과 — 활성화 선택이 학습 가능성을 결정
체인룰로 활성화 미분이 곱해집니다. 평균 미분이 작을수록 깊이 누적이 빠르게 vanishing 영역에 진입합니다. ReLU 계열(평균 ≈ 0.5)만이 깊은 네트워크에서 살아남는 이유입니다.
활성화별 깊이 누적 미분 — Sigmoid는 8층 만에 1e-6 이하로 소실출력층 활성화 함수 선택 가이드
은닉층에는 ReLU 계열이 표준이지만, 출력층은 문제 유형에 따라 달라집니다. 회귀는 선형, 이진 분류는 Sigmoid, 다중 분류는 Softmax, 다중 라벨은 독립 Sigmoid.
출력층 활성화 함수 선택: 문제 유형이 결정한다활성화 함수 선택 가이드
ReLU — 은닉층의 기본값
계산 빠르고 vanishing 없음. CNN의 표준. 다만 Dead ReLU 주의.
Leaky ReLU / PReLU
Dead ReLU 문제 회피. α=0.01~0.2 일반적. GAN에서 자주 사용.
GELU / Swish — Transformer 표준
x=0 근처 부드러움이 학습 안정성에 기여. BERT/GPT/ViT의 표준.
Sigmoid / Tanh — 출력층 또는 게이트
은닉층 사용 비추천. 이진 분류 출력층(Sigmoid)이나 LSTM 게이트(Tanh)에 적합.
직접 해보기 — 실습 과제
- 포화 영역 체감: Sigmoid만 활성. 입력 x를 ±5로 옮기면 미분이 거의 0임을 확인.
- Dead ReLU: ReLU만 활성. x = -2로 두면 출력 0, 미분 0 — 학습 신호 없음.
- Leaky ReLU 비교: Leaky ReLU 활성 + α=0.1. 같은 x = -2에서 미분 0.1 → 학습 가능.
- GELU의 부드러움: GELU와 ReLU를 동시에 활성. x = 0 근처에서 GELU는 부드럽지만 ReLU는 꺾임.
- 깊이 누적 확인: 깊이를 15층 이상으로 올리세요. Sigmoid는 vanishing, ReLU/Leaky/GELU는 살아있음.