넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
회귀 알고리즘 선택 가이드는 관계의 형태·변수 수·규제 필요에 따라 적절한 회귀 모델을 고르는 실무 지침이다.
이 내용은 넘스탯의 회귀 실습에서 직접 실험으로 확인할 수 있습니다.
각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다
학습 진도 (완료한 단계)
0%
연속적인 숫자를 예측하는 회귀 문제에는 선형 회귀, 다항 회귀, 리지 회귀, 라쏘 회귀 등 여러 도구가 있습니다. 이 페이지는 "직선으로 충분한가?"라는 질문에서 출발해, 언제 곡선(다항)으로 유연성을 늘리고 언제 규제(regularization)로 복잡도를 눌러야 하는지, 그 선택의 논리를 다룹니다. 각 알고리즘의 자세한 원리는 알고리즘별 상세 페이지에서 배울 수 있습니다.
직선이냐 곡선이냐 (교육용 시나리오): 네 개의 점 (1, 3), (2, 5), (3, 6), (4, 9)가 있습니다. 방법 1 — 직선(선형 회귀): 네 점을 정확히 지나지는 못하고 약간의 오차를 남기지만, 경향("x가 1 커질 때 y가 약 2씩 증가")을 안정적으로 잡아냅니다. 방법 2 — 3차 곡선(다항 회귀): 점이 4개이므로 3차식은 네 점을 전부 정확히 통과할 수 있습니다. 훈련 오차는 0입니다. 그런데 새로운 점 x = 5가 오면 어떻게 될까요? 심화 단계에서 직접 계산해 보면, 네 점을 완벽히 외운 3차 곡선이 오히려 크게 빗나가는 것을 확인하게 됩니다. "훈련 데이터를 잘 맞추는 것"과 "새 데이터를 잘 맞추는 것"은 다른 문제입니다.
정답: 가장 단순해서 과적합 위험이 작고, 계수 해석이 쉬우며, 더 복잡한 모델이 "이 단순한 모델보다 실제로 나은가"를 판정할 비교 기준(베이스라인)이 되기 때문입니다. 직선으로 충분한 문제에 복잡한 모델을 쓸 이유가 없습니다.
정답: 훈련 오차 0은 데이터의 잡음(우연한 출렁임)까지 전부 외웠다는 뜻일 수 있습니다. 이런 모델은 새 데이터에서 크게 빗나가는 과적합 상태일 가능성이 높습니다. 모델의 품질은 훈련 오차가 아니라 새 데이터에 대한 오차로 판단해야 합니다.
정답: 복잡한 모델일수록 데이터에서 배워야 할 것(계수)이 많아, 그것을 안정적으로 추정하려면 더 많은 데이터가 필요합니다. 데이터가 적은데 모델이 복잡하면 계수 추정이 불안정해지고 과적합이 일어나기 쉽습니다. 데이터가 적을수록 단순한 모델 또는 규제가 필요합니다.