LEARN · SIMULATE · VERIFY

확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼

로그인

학습 메뉴

도움말

홈

앙상블 실습실 — 배깅과 부스팅

Q: 한 라운드가 끝나면, 방금 배운 스텀프의 가중 오류는 얼마가 될까요?

가중치 갱신은 방금 스텀프가 "이미 아는 것"의 가치를 0으로 만드는 재조정입니다. 그래서 다음 라운드는 같은 곳을 다시 팔 수 없고, 반드시 새로운 실수를 공략합니다 — 릴레이가 전진하는 이유입니다. 넘스탯(NumStats)의 브라우저 시뮬레이션에서 직접 실험으로 확인할 수 있습니다.

Q: "비스듬한 경계" 데이터에서 스텀프 30개 예산 — 배깅과 부스팅 중 누가 이길까요?

배깅은 분산을 줄이는 약, 부스팅은 편향을 줄이는 약입니다. 대각선 경계는 스텀프 하나의 편향 문제라 릴레이(부스팅)만이 계단으로 조각할 수 있습니다. 반대로 이상치가 문제면 다수결(배깅)이 이깁니다. 넘스탯(NumStats)의 브라우저 시뮬레이션에서 직접 실험으로 확인할 수 있습니다.

"괜찮은 애들의 평균 vs 약한 애들의 릴레이" — 같은 예산, 상반된 사용법

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

기계학습 이론으로 상세 이론 학습

틀린 점은 무거워진다 — 그리고 다음 학습기는 무거운 점부터 판다

결정 트리 랩에서 배깅(부트스트랩 + 투표)을 봤다면, 이번엔 반대 전략입니다. 부스팅은 약한 학습기들을 순서대로 세워, 앞 사람이 틀린 문제를 뒷사람이 집중해서 풀게 합니다. 교과서 10점 손계산 모드에서는 화면의 ε·α가 검증 스크립트의 폐형 해와 자릿수까지 일치합니다.

이 페이지에서 배우고 나면

AdaBoost의 인과 사슬(틀림 → 가중치↑ → 다음 스텀프의 초점 이동 → 발언권 α 가중 투표)을 라운드 단위로 재생할 수 있습니다.
배깅(분산 감소)과 부스팅(편향 감소)이 서로 다른 약임을 데이터셋별 승부 역전으로 설명할 수 있습니다.
부스팅의 성립 조건(동전보다 나은 약학습기)과 대가(이상치 추적)를 실측으로 확인합니다.

AdaBoost(Freund & Schapire, 1997) 한 라운드의 문법

① 현재 가중치로 최적 스텀프를 찾는다 → ② 가중 오류 ε로 발언권 α = ½ln((1−ε)/ε)를 정한다 → ③ 틀린 점의 가중치를 e^α배 키우고 정규화한다. 갱신 직후 방금 스텀프의 가중 오류는 정확히 0.5가 됩니다 — 배운 지식은 소진되고, 다음 라운드는 반드시 새 곳을 파야 합니다. 최종 예측은 sign(Σ α·h)의 가중 투표입니다.

예측 먼저 — 실험 전에 답을 정해 보세요

예측 → 실험 → 확인

정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.

1. 한 라운드가 끝나면, 방금 배운 스텀프의 가중 오류는 얼마가 될까요?

2. "비스듬한 경계" 데이터에서 스텀프 30개 예산 — 배깅과 부스팅 중 누가 이길까요?

로그인하면 예측 기록이 계정에 저장됩니다

어느 기기에서든 이어서 학습하고, 오답 기반 복습 추천을 받을 수 있습니다.

만 14세 이상이며 이용약관과 개인정보 처리방침에 동의합니다

카카오로 시작하기 네이버로 시작하기 구글로 시작하기

회원가입 절차 없음 — 닉네임만 저장하며, 이메일·연락처는 수집하지 않습니다.

🔥 앙상블 시뮬레이터 — 배깅과 부스팅

틀린 점의 무게가 커지고, 다음 스텀프가 그곳을 판다 — AdaBoost의 릴레이를 라운드 단위로 관찰하세요.

비스듬한 경계

초승달+노이즈

뭉치+심술점

XOR 사분면

교과서 10점

점 크기 = 가중치(Σw=1) · 검은 테두리 = 이번 라운드 표적 · 초록 선 = 현재 스텀프 · 회색 굵기 = 발언권 α

누르기 전에 — 다음 스텀프는 어디를 자를까?

라운드 스크러버: 0 / 30

크기 = 가중치 (점은 복제되지 않고 무게만 변합니다)

결합 신뢰도 히트맵

라운드 기록 — ε(가중 오류)·α(발언권)

아직 라운드 없음

ε — 라운드 전

훈련 —

테스트 —

모든 점의 무게가 같습니다 = 아직 아무도 억울하지 않습니다. [라운드 +1]을 누르기 전에 예측해 보세요 — 첫 스텀프는 어디를 자를까요?

실측 요약 — 이 실습이 보여주는 것

AdaBoost의 릴레이를 라운드 단위로 재생하는 2탭 실험입니다. ① 부스팅 탭: [라운드 +1]마다 틀린 점의 가중치가 커지고(점 크기 = 가중치, Σw=1) 다음 스텀프가 그곳을 파는 인과 사슬을 관찰 — ε(가중 오류)·α(발언권) 라운드 카드와 결합 신뢰도 히트맵 포함. "교과서 10점" 손계산 모드에서는 화면의 ε·α가 폐형 해와 자릿수까지 일치합니다. ② 대결 탭: 같은 학습기 예산 N으로 배깅(분산 감소)과 부스팅(편향 감소)을 나란히 — 개별 학습기의 단독 정확도 스트립 위에 앙상블 마크가 찍힙니다.

교과서 10점(x=0..9, 라벨 +++−−−+++−) 손계산 실측: ε₁=3/10 → α₁=½ln(7/3)≈0.424, ε₂=3/14 → α₂≈0.650, ε₃=2/11 → α₃=½ln(9/2)≈0.752 — 세 스텀프의 가중 투표로 10점 전원 정답. 갱신 직후 방금 스텀프의 가중 오류는 매 라운드 정확히 0.5(지식 소진 불변식, 검증 스크립트 단언)
비스듬한 경계 실측: 부스팅 최고 테스트 89.6% vs 같은 예산 배깅 스텀프 30그루 79.2% — 스텀프를 평균해도 직선은 직선이라(편향은 평균해도 안 사라진다) 릴레이만이 계단을 조각한다. 반대로 뭉치+심술점에서는 하드코딩 심술점 3개가 라운드 10에 균일 가중의 8~18배 무게를 점령하며 부스팅 경계를 끌고 다닌다 — 배깅의 다수결이 이기는 판
XOR 실측: 30라운드를 다 돌아도 훈련 정확도 81.3%에서 정체 — 축평행 스텀프의 가법 결합으로는 x·y 상호작용을 표현할 수 없다(부스팅의 성립 조건 반례). 깊이 2 트리의 배깅은 같은 문제를 푼다

바로잡는 오개념: "부스팅과 배깅은 그게 그거(둘 다 여러 모델)"라는 생각 — 배깅은 독립 학습기의 평균으로 분산을 줄이고, 부스팅은 순차 학습기의 릴레이로 편향을 줄인다. 데이터셋에 따라 승자가 바뀌는 것(대각 경계는 부스팅, 이상치 판은 배깅)이 두 약이 다른 병을 고친다는 증거다.

AI 튜터에게 물어보기

베타

— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.

예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”

AI 답변은 부정확할 수 있습니다. 핵심 개념은 반드시 시뮬레이션 실측으로 확인하세요. 질문 0/5 · 하루 질문 한도가 있습니다

직접 해보기 — 실습 과제

손계산 검증: "교과서 10점"에서 라운드 3번 — ε가 0.300 → 0.214 → 0.182, α가 0.424 → 0.650 → 0.752로 나오는지 확인하세요 (전부 폐형 해와 일치)
릴레이 관찰: "비스듬한 경계"에서 자동 재생 — 스텀프 자국이 계단을 조각해 가는 타임랩스를 보세요
빌런 추적: "뭉치+심술점"에서 라운드 6쯤 — 로즈 파선 3점이 화면 최대 점이 되어 경계를 끌고 다닙니다
성립 조건의 반례: "XOR"에서 ε가 0.5 근처를 맴돌며 α가 바닥나는 것 — 부스팅에게도 못 푸는 문제가 있습니다
승부 역전: ② 탭에서 "비스듬한 경계"(부스팅 승) ↔ "뭉치+심술점"(배깅 승) 비교 — 그리고 배깅 깊이를 올려 역전을 시도해 보세요
비대칭의 의미: ② 탭에서 [시드 재추첨]이 배깅 쪽에만 있는 이유를 설명해 보세요

📖 더 깊이 학습하기

Freund & Schapire (1997): "A Decision-Theoretic Generalization of On-Line Learning", JCSS — AdaBoost 원전
Breiman (1996): "Bagging Predictors", Machine Learning 24 — 배깅의 원전
Friedman (2001): "Greedy Function Approximation: A Gradient Boosting Machine" — XGBoost·LightGBM의 뿌리
ISL (2021) 8장 — 배깅·부스팅·포레스트 비교의 표준 입문