통계 실험실 차트
넘스탯 로고
넘스탯
LEARN · SIMULATE · VERIFY

확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼

로그인
학습 메뉴
도움말
홈

리지 회귀 (Ridge Regression)

마일스톤 학습법으로 단계별 완전 정복
정규화회귀
과적합방지
L2정규화
하이퍼파라미터
다중공선성
이 개념 직접 실험하기 — 규제 회귀 시뮬레이터
이 학습을 통해 달성할 수 있는 목표
기초 이해
  • • 정규화의 필요성과 리지 회귀의 기본 개념을 이해한다
  • • λ 하이퍼파라미터의 역할을 설명할 수 있다
  • • 과적합 방지 메커니즘을 직관적으로 파악한다
심화 학습
  • • 리지 회귀의 수학적 공식을 이해하고 계산할 수 있다
  • • 교차검증을 통해 최적 λ를 선택할 수 있다
  • • 다중공선성 문제 해결에 리지 회귀를 적용할 수 있다
실무 적용
  • • 대규모 고차원 데이터에 리지 회귀를 효과적으로 적용할 수 있다
  • • 베이지안 해석과 기하학적 의미를 설명할 수 있다
  • • 실무 환경에서 안정적이고 확장 가능한 시스템을 구축할 수 있다
한눈에 보기

리지 회귀는 선형 회귀의 손실에 계수 제곱합(L2) 벌점을 더해, 계수 크기를 줄여 과적합과 다중공선성을 완화하는 방법이다.

이 내용은 넘스탯의 규제 회귀 시뮬레이터에서 직접 실험으로 확인할 수 있습니다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해
개념 정의와 기본 원리
약 20분
클릭
심화 학습
공식 유도와 다양한 예시
약 45분
클릭
실무 적용
실제 케이스와 고급 응용
약 60분

학습 진도 (완료한 단계)

0%

기초 이해리지 회귀의 기본 개념

리지 회귀의 기본 개념

난이도 3/5
약 20분

과적합을 방지하기 위해 회귀계수에 제약을 가하는 리지 회귀의 기본 아이디어를 알아봅시다.

규제의 기하 — L2(리지) vs L1(라쏘)손실 등고선이 제약 영역과 처음 닿는 곳이 해 — L1은 모서리(축)에서 닿아 계수를 0으로 만듭니다리지 (L2, 원)β₁β₂해가 축을 벗어나 닿음 → 계수 수축(0 아님)라쏘 (L1, 마름모)β₁β₂해가 축 위 모서리에서 닿음 → β₁=0 (희소·변수선택)※ 주황 점선: 손실 등고선 · 분홍 점: 규제 하에서의 해
핵심 포인트
  • •손실함수에 회귀계수의 제곱합에 비례하는 벌칙항(L2 penalty)을 추가합니다
  • •람다(λ) 하이퍼파라미터로 정규화 강도를 조절합니다
  • •모든 계수를 0에 가깝게 만들어 과적합을 방지합니다
  • •다중공선성 문제가 있어도 안정적인 해를 구할 수 있습니다
간단한 예시

1000개의 특성으로 100개의 데이터를 예측하는 상황을 생각해봅시다. 일반 선형 회귀는 과적합이 심할 것입니다. 리지 회귀는 '모든 특성이 조금씩은 중요하지만, 어느 하나도 과도하게 중요하지는 않다'는 가정 하에 모든 계수를 작게 만들어 안정적인 예측을 수행합니다.

기계학습 이론 페이지로 돌아가기