통계 실험실 차트
넘스탯 로고
넘스탯
LEARN · SIMULATE · VERIFY

확률부터 LLM까지 — 데이터 사이언스 자기주도 학습 플랫폼

로그인
학습 메뉴
도움말
홈

교차 검증(Cross Validation)

마일스톤 학습법으로 단계별 완전 정복
교차 검증
cross validation
K-Fold
LOOCV
층화 K-Fold
시계열 교차 검증
데이터 누출
하이퍼파라미터 튜닝
이 개념 직접 실험하기 — 모델 평가 시뮬레이터
이 학습을 통해 달성할 수 있는 목표
기초 이해
  • • 단일 train-test 분할의 성능 추정이 분할 운에 따라 흔들리는 이유를 설명할 수 있다
  • • 모의고사 비유로 K-Fold 교차 검증의 5단계 절차를 순서대로 서술할 수 있다
  • • 교차 검증에서 모든 데이터가 정확히 한 번씩 테스트에 쓰인다는 성질을 이해한다
심화 학습
  • • 폴드별 오차로부터 CV 추정치(평균)와 표준편차를 손으로 계산하고 함께 보고할 수 있다
  • • K = 5·10이 관례인 이유를 편향·분산 균형과 계산 비용 관점에서 설명하고, LOOCV의 장단점을 비교할 수 있다
  • • 층화 K-Fold와 시계열 교차 검증(expanding window)이 필요한 상황을 구분하고, 전처리를 폴드 안에서 fit해야 하는 이유(데이터 누출)를 설명할 수 있다
실무 적용
  • • CV 추정량의 비관적 편향(부분 데이터 학습)과 LOOCV의 분산 문제(학습 세트 간 상관)를 설명할 수 있다
  • • 중첩 교차 검증의 바깥/안쪽 루프 구조와, 튜닝에 쓴 CV 점수를 그대로 보고하면 생기는 선택의 낙관 편향을 설명할 수 있다
  • • 층화 분할, 파이프라인 누출 차단, 튜닝·평가 분리를 포함한 실무 교차 검증 절차를 설계할 수 있다
한눈에 보기

교차 검증은 데이터를 여러 조각(폴드)으로 나눠 각 조각을 번갈아 테스트용으로 쓰고 나머지로 학습하는 과정을 반복해, 모델의 일반화 성능을 안정적으로 추정하는 방법이다.

이 내용은 넘스탯의 모델 평가 시뮬레이터에서 직접 실험으로 확인할 수 있습니다.

학습 로드맵

각 단계를 클릭하면 해당 학습 내용을 볼 수 있습니다

기초 이해
개념 정의와 기본 원리
약 15분
클릭
심화 학습
공식 유도와 다양한 예시
약 35분
클릭
실무 적용
실제 케이스와 고급 응용
약 50분

학습 진도 (완료한 단계)

0%

기초교차 검증이란 무엇인가요?

기초: 교차 검증이란 무엇인가요?

난이도 2/5
약 15분

교차 검증은 모델이 새 데이터에서 얼마나 잘 작동할지를 한 번의 시험이 아니라 여러 번의 시험으로 평가하는 방법입니다. 데이터를 K개의 조각(폴드)으로 나눈 뒤, 각 조각을 한 번씩 테스트용으로 쓰고 나머지 조각들로 모델을 학습하는 과정을 K번 반복해, K개의 성능 점수를 평균합니다. 이렇게 하면 "우연히 쉬운(또는 어려운) 테스트 데이터에 걸리는 운"의 영향을 크게 줄일 수 있습니다.

핵심 포인트
  • •단일 train-test 분할의 문제: 어떤 데이터가 테스트에 들어가느냐에 따라 성능 추정치가 크게 달라짐 — 분할 한 번의 결과는 "운"이 섞인 점수
  • •K-Fold 교차 검증: 데이터를 K등분하고, 각 조각을 한 번씩 테스트로 쓰며 K번 학습·평가한 뒤 성능을 평균 — 모든 데이터가 정확히 한 번씩 테스트에 사용됨
  • •K = 5 또는 10이 실무 관례 — 계산 비용과 추정 품질(편향·분산)의 균형이 좋다고 알려진 선택
  • •교차 검증은 "모델 만들기"가 아니라 "모델 평가·선택"의 도구 — 최종 모델은 보통 선택이 끝난 뒤 전체 훈련 데이터로 다시 학습함
간단한 예시

5-Fold 교차 검증 절차 (교육용 시나리오): 학생 100명의 공부 시간으로 합격 여부를 예측하는 모델을 평가한다고 합시다. 1단계: 100명의 데이터를 무작위로 섞어 20명씩 5개 조각(폴드 A, B, C, D, E)으로 나눕니다. 2단계: 폴드 A를 테스트용으로 빼두고, 나머지 B+C+D+E(80명)로 모델을 학습한 뒤 A(20명)에서 정확도를 잽니다. 3단계: 이번에는 폴드 B를 테스트용으로 빼고, A+C+D+E로 학습해 B에서 정확도를 잽니다. 4단계: 같은 방식으로 C, D, E까지 반복하면 정확도 5개가 모입니다. 5단계: 5개 정확도의 평균이 교차 검증 성능 추정치입니다. 5개 값이 서로 얼마나 다른지(표준편차)를 보면 추정이 얼마나 안정적인지도 알 수 있습니다. 핵심은 100명 전원이 정확히 한 번씩 테스트에 참여했고, 매번 학습에 쓰인 데이터와 테스트에 쓰인 데이터가 겹치지 않았다는 점입니다.

5-Fold 교차 검증 — 검증 폴드(주황)를 한 칸씩 옮겨가며 5번 평가하고, 최종 성능은 5회의 평균으로 추정합니다.5-Fold 교차 검증 — 검증 폴드(주황)를 한 칸씩 옮겨가며 5번 평가하고, 최종 성능은 5회의 평균으로 추정합니다.
이해도 확인하기

정답: 어떤 데이터가 테스트 세트에 들어가느냐는 무작위 분할의 운에 달려 있기 때문입니다. 우연히 예측하기 쉬운 데이터가 테스트에 몰리면 성능이 부풀려 보이고, 어려운 데이터가 몰리면 실제보다 나쁘게 보입니다. 분할을 바꿔 다시 재면 상당히 다른 숫자가 나올 수 있어, 한 번의 측정치는 변동이 큰 추정입니다.

정답: 모델은 총 5번 학습됩니다(폴드마다 한 번씩). 각 데이터는 자신이 속한 폴드가 테스트 차례일 때 정확히 한 번 테스트에 쓰이고, 나머지 4번은 학습에 쓰입니다.

정답: 한 번의 시험(단일 분할)에 섞인 운의 영향을 평균으로 상쇄해, 성능 추정의 변동(분산)을 줄이는 성질에 해당합니다. 서로 다른 문제(서로 다른 테스트 폴드)로 여러 번 평가하므로 특정 문제 구성에 유리하거나 불리했던 우연이 평균 과정에서 희석됩니다.

기계학습 이론 페이지로 돌아가기