규제 회귀 실습실 — 리지와 라쏘

실측 요약 — 이 실습이 보여주는 것

1차원 다항 회귀(차수 1~9)에서 과적합과 규제를 실측하는 3탭 실험입니다. 데이터 3종(사실은 직선·부드러운 파도·숨은 3차, 훈련 20/테스트 20, 시드 고정)에서 ① 차수를 올려 과적합을 만들고 테스트 공개의 반전을 겪은 뒤, ② λ 42점 사전계산 경로를 다이얼로 돌리며 리지의 수축과 라쏘의 소멸(대수적으로 정확한 0)·U-곡선·전멸선(λ_max)을 관찰하고, ③ 공유 λ 하나로 리지·라쏘 두 패널을 동시 구동해 "점근 vs 도달"의 차이를 계수 경로 플롯으로 봅니다.

• "사실은 직선"(σ=0.35) d=9 실측: 무규제 훈련 RMSE 0.285 vs 테스트 0.615 — 노이즈 암기의 정량 증거. 라쏘 최적(λ≈0.07)은 테스트 0.355로 무규제보다 42% 개선되며 생존 계수는 9개 중 2개뿐
• "숨은 3차" 실측: 라쏘 λ를 올리면 생존 집합이 {1,2,3,8} → {1,7} → {1} → ∅(전멸선 λ_max=0.19)로 줄어든다 — 단 [−1,1]의 홀수 거듭제곱은 강공선이라 x³ 대신 닮은꼴 x⁷·x⁹가 대표로 뽑히기도 한다(서포트 복원 비보장은 라쏘의 알려진 성질로, 랩이 이를 숨기지 않고 그대로 보여준다)
• 라쏘의 0은 반올림이 아니다 — 직교 설계 손계산에서 S(ρ=√1.25, λ=1.2) === 0 이 부동소수 완전 일치로 검증되고, 리지는 같은 조건에서 ρ/1.5=0.745로 절대 0이 되지 않는다(수축 vs 소멸)

바로잡는 오개념: "규제는 정확도를 떨어뜨리는 손해"라는 생각 — 훈련 정확도는 내주지만 테스트 정확도를 사는 교환이다. U-곡선의 스윗 스팟에서 무규제보다 테스트 RMSE가 뚜렷이 낮아지며(직선 데이터 실측 0.615 → 0.355), λ가 과하면 다시 나빠진다는 것까지 곡선 하나에 담겨 있다.