LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
SVM 실습실 — 마진과 커널 트릭
"경계는 소수가 정한다" — 서포트 벡터를 드래그로 찾고, 안 갈리는 데이터는 들어 올려 가른다
원하는 개념·랩·가이드를 검색해보세요
Ctrl K점 40개 중 경계를 정하는 건 3개뿐 — 나머지를 다 지워도 경계는 그대로입니다
이 페이지에서 배우고 나면
- 어떤 점이 서포트 벡터인지 드래그 실험으로 판별하고, 왜 그 점들만 경계를 정하는지 설명할 수 있습니다.
- 마진 최대화가 왜 일반화 장치인지 — 내 직선과 SVM의 테스트 성적 비교로 체감합니다.
- 커널 트릭이 마법이 아니라 “좌표를 추가해 고차원의 평면으로 가르는 계산”임을 리프트 시각화로 이해합니다.
예측 먼저 — 실험 전에 답을 정해 보세요
정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.
1. 경계에서 멀리 떨어진(링 없는) 점을 더 멀리 드래그하면 경계는 어떻게 될까요?
2. 이상점이 하나 섞인 데이터에서 C를 100 → 0.1로 낮추면 어떤 일이 벌어질까요?
📏 SVM 마진·커널 시뮬레이터
점을 드래그하면 매 프레임 SMO가 실제로 다시 풉니다 — 경계를 붙잡은 소수(서포트 벡터)를 찾아내세요.
실측 요약 — 이 실습이 보여주는 것
4가지 데이터(두 뭉치·겹침·이상점 하나·동심원, [−3,3]² 시드 고정)에서 간이 SMO가 브라우저로 SVM을 실제로 푸는 3탭 실험입니다. ① 점을 드래그해 경계를 붙잡은 서포트 벡터(듀얼 α>0)를 찾고 15° 돌리기 미션과 "SV 아닌 점 숨기기"로 희소성을 확인, ② 두 점 클릭으로 그은 내 직선과 SVM의 최대 마진을 대결시키고 C 슬라이더로 소프트 마진의 트레이드오프를 관찰, ③ 동심원에서 선형 커널의 실패를 본 뒤 z=x²+y² 리프트 슬라이더로 "고차원의 평면 = 저차원의 원"을 목격합니다.
- 두 뭉치(40점, C=1) 실측: 서포트 벡터는 단 3개 — 나머지 37개를 반투명 처리하고 SV 3개만으로 재학습해도 결정 함수의 최대 편차가 0.001대로 경계가 일치한다(검증 스크립트 단언). 비-SV 점을 구석으로 끌어도 경계 각도 변화는 0.0°
- 이상점 하나 데이터 실측: C=100이면 마진 폭 2.29로 이상점에 끌려가지만, C=0.1로 낮추면 이상점이 α=C(포기된 점, 파선 링)로 분류되며 마진이 2.97로 회복된다 — 규제 = 점 하나를 포기할 용기
- 동심원(44점) 실측: 선형 커널 테스트 38.5% vs RBF(γ=0.5) 100% — 그리고 z=x²+y² 리프트의 분리 평면 높이 z₀=2.42의 2D 단면 원(반지름 √z₀≈1.55)이 두 링(내원 최대 1.08, 외원 최소 1.91) 사이에 정확히 놓인다. γ=10으로 키우면 훈련 100%인 과적합 섬 경계 관찰
바로잡는 오개념: "SVM은 모든 점을 사용해 경계를 정한다"는 생각 — 경계 식 f(x) = Σ αᵢyᵢK(xᵢ,x) + b 에서 α=0인 점(대부분)은 아예 등장하지 않는다. 경계는 마진에 걸린 소수의 서포트 벡터만의 함수이고, 그래서 멀리 있는 점은 아무리 움직여도 경계가 꿈쩍하지 않는다.
AI 튜터에게 물어보기
— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.
예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”
선형 분류기 비교 — 무엇이 다른가?
로지스틱 회귀
모든 점이 확률적으로 기여. 확률 출력이 필요할 때.
SVM
서포트 벡터만 기여, 마진 최대화. 중간 규모·고차원 데이터의 강자.
결정 트리 계열
축평행 분할, 해석 용이. 대규모 표 데이터는 포레스트·부스팅.
직접 해보기 — 실습 과제
- 서포트 벡터 찾기: ① 탭에서 링 없는 점들을 마음껏 끌어 보세요 — 경계 각도 변화가 0.0°에 머뭅니다. 그다음 링 있는 점으로 15° 미션을 달성하세요
- 희소성의 증명: "SV 아닌 점 숨기기" — 점 몇 개만 남아도 겹쳐 그려진 두 경계가 일치합니다
- 인간 vs SVM: ② 탭에서 직선을 그어 마진 폭으로 대결 — SVM을 이길 수 있을까요? (같으면 당신이 최대 마진을 찾은 겁니다)
- 포기의 미학: "이상점 하나" 데이터에서 C를 낮추며 — 마진 폭이 회복되고 이상점에 파선 링이 붙는 순간을 포착하세요
- 커널의 정체: ③ 탭에서 선형 커널의 실패(테스트 ~40%)를 먼저 본 뒤, 리프트 재생 → 분리 평면의 2D 단면(파선 원)이 RBF 경계와 겹치는 것을 확인하세요
- 과적합 섬: RBF에서 γ를 10까지 — 경계가 점 주변만 감싸는 섬이 되며 테스트가 떨어집니다
📖 더 깊이 학습하기
- Cortes & Vapnik (1995): "Support-Vector Networks", Machine Learning 20 — 소프트 마진 SVM 원전
- Platt (1998): "Sequential Minimal Optimization" — 이 랩의 솔버가 따르는 SMO
- James, Witten, Hastie & Tibshirani (2021): An Introduction to Statistical Learning 9장 — 마진·커널의 표준 입문
- scikit-learn 문서: SVC — C·gamma 튜닝 실무 레퍼런스