Gradient 문제 (Vanishing / Exploding)

마일스톤 학습법으로 단계별 완전 정복

딥러닝

Vanishing Gradient

Exploding Gradient

Skip Connection

ResNet

He 초기화

Xavier

LSTM

Gradient Clipping

이 개념 직접 실험하기 — 기울기 소실 실측 실습

이 학습을 통해 달성할 수 있는 목표

기초 이해

• Vanishing/Exploding의 원인과 증상 이해
• 왜 깊이가 학습을 어렵게 하는지 직관적 이해
• 주요 해결책 4가지 인지 (Skip, 초기화, ReLU, Clipping)

심화 학습

• 체인룰을 통한 gradient 누적 수식 분석
• He vs Xavier 초기화 선택 기준
• LSTM이 RNN의 vanishing을 어떻게 해결하는지 이해

실무 적용

• ResNet의 identity mapping 분석
• Transformer 학습 안정화 전략 (Warmup + Clipping)
• 대규모 LLM 학습에서 gradient 안정성 설계

한눈에 보기

그래디언트 소실·폭발 문제는 깊은 신경망에서 역전파 시 기울기가 층을 거치며 지수적으로 작아지거나 커져 학습이 안 되는 현상이다.

시그모이드·tanh는 기울기가 작아 층이 깊어질수록 앞쪽 층의 그래디언트가 소실된다 — ReLU·잔차연결·배치정규화로 완화한다.
폭발은 그래디언트 클리핑으로, 소실은 적절한 가중치 초기화(Xavier·He)로 다룬다.
RNN의 장기 의존성 학습을 막는 주범이며, LSTM의 게이트 구조가 이를 해결했다.

이 내용은 넘스탯의 기울기 소실 실측 실습에서 직접 실험으로 확인할 수 있습니다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해

개념 정의와 기본 원리

약 25분

클릭

심화 학습

공식 유도와 다양한 예시

약 45분

클릭

실무 적용

실제 케이스와 고급 응용

약 60분

학습 진도 (완료한 단계)

먼저 알아두면 좋은 개념들

활성화 함수 →

활성화 함수의 미분 특성이 vanishing/exploding의 직접 원인입니다.

CNN →

ResNet의 skip connection이 어떻게 깊은 CNN을 가능케 했는지 이해해야 합니다.

기초 단계깊은 망의 두 함정

기초 단계: 깊은 망의 두 함정

난이도 3/5

약 25분

역전파는 미분의 연쇄법칙으로 출력층부터 입력층까지 gradient를 곱해가며 전달합니다. 곱해지는 값이 1보다 작으면 gradient가 0에 수렴(Vanishing), 1보다 크면 무한대로 발산(Exploding)합니다. 깊이가 깊어질수록 이 효과가 지수적으로 누적되어 학습 자체가 불가능해집니다.

복도에서 친구에게 메시지를 전달하는데, 매 사람을 거칠 때마다 25%씩만 들리게 된다고 상상해보세요(Sigmoid 미분 최대 0.25). 4명 거치면 거의 안 들립니다(0.25⁴ ≈ 0.004). 반대로 1.5배씩 증폭된다면 10명 거치면 약 58배로 폭주합니다. 깊은 신경망의 역전파가 정확히 이런 상황입니다.

핵심 포인트

•Vanishing: Gradient가 0에 수렴 → 앞쪽 층이 학습 안됨 (RNN, 깊은 Sigmoid망)
•Exploding: Gradient가 무한대 → NaN 발산 (RNN에서 흔함)
•Skip Connection: 잔차 연결로 gradient가 직접 흐를 길 제공 (ResNet)
•He/Xavier 초기화: 가중치 분산을 fan_in 기반으로 설정해 신호 보존

간단한 예시

Sigmoid 활성화 10층 망 시뮬레이션: • Sigmoid 미분 최대값: 0.25 • 10층 통과 시 gradient ≈ 0.25¹⁰ = 9.5e-7 • 학습률 0.01과 곱하면 가중치 변화 ≈ 1e-8 → 사실상 정지 ReLU + He 초기화로 바꾸면: • ReLU 양수 미분: 1.0 • 신호가 깊이를 통과해도 살아있음 → 152층 ResNet 학습 가능

LLM 이론 페이지로 돌아가기