정규화 (Regularization)

마일스톤 학습법으로 단계별 완전 정복

딥러닝

정규화

Regularization

Ridge

Lasso

Dropout

Early Stopping

과적합

이 개념 직접 실험하기 — 정규화 실습

이 학습을 통해 달성할 수 있는 목표

기초 이해

• 과적합의 의미와 정규화 필요성 이해
• 4가지 주요 정규화 기법 차이 파악
• 문제별 적절한 정규화 선택

심화 학습

• L1/L2 페널티의 수식과 기하학적 해석
• Dropout의 앙상블 효과 이해
• 하이퍼파라미터 λ, p의 튜닝 전략

실무 적용

• 베이지안 정규화 해석
• AdamW의 decoupled weight decay 필요성
• MixUp/Stochastic Depth 등 최신 정규화 적용

한눈에 보기

정규화는 모델이 훈련 데이터에 과적합하지 않고 새 데이터에 일반화하도록 모델 복잡도를 제어하는 기법들의 총칭이다.

L2(가중치 감쇠)는 큰 가중치에 벌점을 줘 모델을 단순하게 유지한다.
드롭아웃은 학습 때 뉴런 일부를 무작위로 꺼서 특정 뉴런에 대한 과의존을 막는다.
조기 종료·데이터 증강도 널리 쓰이는 정규화 수단이며, 목표는 훈련·검증 성능의 격차를 줄이는 것이다.

이 내용은 넘스탯의 정규화 실습에서 직접 실험으로 확인할 수 있습니다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해

개념 정의와 기본 원리

약 25분

클릭

심화 학습

공식 유도와 다양한 예시

약 40분

클릭

실무 적용

실제 케이스와 고급 응용

약 55분

학습 진도 (완료한 단계)

먼저 알아두면 좋은 개념들

손실 함수 →

정규화는 손실 함수에 추가 항을 더하는 방식이 많습니다.

옵티마이저 →

옵티마이저와 정규화는 함께 작동하며, 특히 AdamW에서 결합이 중요합니다.

기초 단계과적합을 막는 4가지 도구

기초 단계: 과적합을 막는 4가지 도구

난이도 2/5

약 25분

정규화는 모델이 훈련 데이터를 너무 외워버리는 과적합(overfitting)을 막아 새로운 데이터에서도 잘 작동하도록 만드는 기법들입니다. L1/L2 페널티, Dropout, Early Stopping, Data Augmentation이 가장 널리 쓰이는 4가지입니다.

학생이 시험 공부할 때 기출문제만 외우면 점수가 잘 나옵니다(훈련 손실 낮음). 하지만 실제 시험에서는 못 풉니다(검증 손실 높음). 정규화는 "기출문제만 외우지 말고, 본질을 이해하라"고 강제하는 장치입니다. L2는 가중치를 작게 유지, L1은 중요한 특징만 골라내고, Dropout은 일부 정보를 가리고도 풀 수 있게 훈련하며, Early Stopping은 외우기 시작하면 멈춥니다.

핵심 포인트

•L2 (Ridge): 손실에 ||w||² 페널티 → 가중치 전체를 작게
•L1 (Lasso): 손실에 ||w||₁ 페널티 → 일부 가중치를 정확히 0 (특징 선택)
•Dropout: 학습 중 뉴런을 무작위로 비활성화 → 앙상블 효과
•Early Stopping / Data Augmentation: 학습 자체를 제어

간단한 예시

100명의 학생 데이터로 시험 점수를 예측하는 모델: • 정규화 없음: 훈련 정확도 99%, 새 학생 예측 정확도 60% (과적합) • L2 (λ=0.01): 훈련 95%, 새 학생 80% — 일반화 개선 • Dropout (p=0.3): 훈련 92%, 새 학생 83% — 더 좋음 훈련 점수는 약간 떨어졌지만 진짜 중요한 "새 데이터" 성능은 크게 향상됩니다.

딥러닝 이론 페이지로 돌아가기