LEARN · SIMULATE · VERIFY

확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼

로그인

학습 메뉴

도움말

홈

GMM·EM 실습실 — 소속은 확률이다

Q: E-step 버튼을 누르면 화면에서 무엇이 변할까요?

E-step은 현재 파라미터를 고정한 채 각 점의 소속 확률(γ)만 다시 계산합니다. 화면 문법이 그대로 알고리즘 문법입니다 — 색(γ)과 타원(θ)이 번갈아 갱신되는 좌표 상승이 EM의 구조입니다. 넘스탯(NumStats)의 브라우저 시뮬레이션에서 직접 실험으로 확인할 수 있습니다.

Q: 길쭉한(상관 강한) 두 군집에서 K-Means와 GMM 중 누가 유리할까요?

K-Means의 "가장 가까운 중심"은 유클리드 거리 = 둥근 군집 가정입니다. 길쭉한 군집의 끝은 자기 중심보다 이웃 중심에 가까워 잘못 배정됩니다. GMM의 공분산 타원은 군집의 방향·길이를 학습해 이 문제를 풉니다. 넘스탯(NumStats)의 브라우저 시뮬레이션에서 직접 실험으로 확인할 수 있습니다.

"이 점은 파랑 63%, 주황 37%" — 하드 할당이 놓치는 것을 소프트 할당이 담는다

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

기계학습 이론으로 상세 이론 학습

E-step은 점의 색만, M-step은 타원만 — 두 버튼의 교대가 EM의 전부입니다

K-Means 실습에서 "가장 가까운 중심에 배정"을 봤다면, GMM은 그 질문을 바꿉니다 — "이 점이 각 군집에서 나왔을 확률은?" 경계의 점들이 혼합색으로 물드는 순간, 클러스터링이 확률 모형이 되는 것을 보게 됩니다. 길쭉형 데이터의 대결 실측: GMM 98% vs K-Means 54%.

이 페이지에서 배우고 나면

군집 소속이 0/1이 아니라 확률(γ)임을 혼합색 점과 크로스헤어 탐침으로 체감합니다.
학습률 없이도 로그우도가 절대 내려가지 않는 EM의 보장을 ℓ 곡선으로 실측합니다.
길쭉한 군집에서 K-Means가 왜 수직으로 잘못 자르는지, 공분산이 어떻게 해결하는지 비교합니다.

EM(Dempster·Laird·Rubin, 1977)의 한 반복

E-step: 현재 타원들로 각 점의 책임값 γ를 계산합니다(점 색만 변함). M-step: γ-가중 평균·공분산으로 타원을 한 번에 갱신합니다(닫힌형 공식 — 학습률 없음). 이 교대는 로그우도 ℓ을 절대 감소시키지 않으며, 이 랩의 검증 스크립트는 4프리셋 × 시드 5 × 초기화 2의 전 궤적에서 Δℓ ≥ −10⁻⁷을 단언합니다.

예측 먼저 — 실험 전에 답을 정해 보세요

예측 → 실험 → 확인

정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.

1. E-step 버튼을 누르면 화면에서 무엇이 변할까요?

2. 길쭉한(상관 강한) 두 군집에서 K-Means와 GMM 중 누가 유리할까요?

로그인하면 예측 기록이 계정에 저장됩니다

어느 기기에서든 이어서 학습하고, 오답 기반 복습 추천을 받을 수 있습니다.

만 14세 이상이며 이용약관과 개인정보 처리방침에 동의합니다

카카오로 시작하기 네이버로 시작하기 구글로 시작하기

회원가입 절차 없음 — 닉네임만 저장하며, 이메일·연락처는 수집하지 않습니다.

🎨 GMM·EM 시뮬레이터 — 소속은 확률이다

E-step은 점의 색만, M-step은 타원만 바꿉니다 — 두 버튼의 교대가 EM 알고리즘의 전부입니다. 학습률 슬라이더가 없는 것도 우연이 아닙니다(닫힌형 공식이라 필요가 없습니다).

분리형

겹침형

길쭉형

비대칭형

구형·공유 σ² (K-Means로 퇴화)

K-Means 비교 모드

겹침 정도: 2.2σ

실선 = 1σ 타원 · 점선 = 2σ · "?" = 지금 가장 갈팡질팡하는 점 · 빈 곳에 마우스를 올리면 그 좌표의 가상 γ가 보입니다

평균 ℓ — 시작 전

스텝 0/184

애매한 점 0개 (max γ < 0.9)

초기 상태 — 타원 2개가 전역 공분산으로 시작합니다. [E-step]을 누르면 점들이 소속 확률(γ)의 혼합색으로 물듭니다. 파라미터는 아직 그대로예요.

실측 요약 — 이 실습이 보여주는 것

2D 혼합 가우시안 데이터(4프리셋: 분리·겹침·길쭉·비대칭, N=150 시드 고정)에서 EM을 한 스텝씩 진행하는 실험입니다. E-step은 점의 색만(소속 확률 γ의 선형광 혼합색), M-step은 타원만(γ-가중 닫힌형 갱신, 1σ 실선·2σ 점선) 바꿉니다 — 화면 문법이 곧 알고리즘 문법. 전체 궤적이 선계산되어 되감기·자동재생·수렴까지가 즉시 반응하고, 빈 곳에 마우스를 올리면 그 좌표의 가상 γ가 표시됩니다(경계는 선이 아니라 그라데이션 띠). K-Means 비교 모드에서는 같은 데이터·같은 초기 중심으로 두 알고리즘이 나란히 돌아갑니다.

길쭉형(상관 0.84 타원 두 개) 실측: GMM 순열 매칭 정확도 98.0% vs K-Means 54.0% — 유클리드 거리(둥근 군집 가정)는 막대의 끝을 상대 중심에 빼앗기고, 공분산 타원은 군집의 방향을 학습해 해결한다. 반대로 분리형에서는 둘 다 100%로 무승부(잘 나뉘면 K-Means로 충분하고 계산도 더 싸다)
EM의 수학적 보장 실측: 4프리셋 × 시드 5개 × 초기화 2종의 전 궤적에서 로그우도 증분 Δℓ ≥ −10⁻⁷ (검증 스크립트 단언) — 학습률이 없는데도 절대 내려가지 않는 이유는 M-step이 경사하강이 아니라 닫힌형 가중평균이기 때문
E-step 손계산 검증: 점 (−2,0), 중심 (∓1.5,0), Σ=I에서 γ₁ = 1/(1+e⁻⁶) = 0.99752…가 소수 10자리까지 일치. 겹침형(2.2σ)에서는 150점 중 60개가 "애매한 점"(max γ < 0.9) — 소속이 확률이라는 것이 데이터의 사실임을 보여준다

바로잡는 오개념: "군집 소속은 이분법(어디든 하나에 속한다)"이라는 생각 — 겹친 데이터에서 경계 점은 파랑 55%·주황 45% 같은 확률로만 말할 수 있고, GMM은 그 확률(γ)을 그대로 계산해 쓴다. 군집이 멀어지면 γ가 0/1로 수렴해 하드 할당과 일치하므로, K-Means는 GMM의 특수한 극한(구형·공유 σ²·σ→0)이다.

AI 튜터에게 물어보기

베타

— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.

예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”

AI 답변은 부정확할 수 있습니다. 핵심 개념은 반드시 시뮬레이션 실측으로 확인하세요. 질문 0/5 · 하루 질문 한도가 있습니다

직접 해보기 — 실습 과제

역할 분리 확인: E-step 직후 타원 불변, M-step 직후 점 색 불변 — 두 버튼의 역할을 눈으로 분리하세요
혼합색 띠: 겹침형에서 겹침 슬라이더를 1.5σ → 4σ로 — 보라색(혼합) 띠가 넓어지는 것이 소프트 할당의 존재 이유입니다
ℓ의 단조성: 자동 재생으로 ℓ 곡선을 관찰 — 계단은 있어도 내리막은 없습니다 (학습률도 없는데 왜일까요?)
국소최적 관전: 무작위 초기화 + 시드 주사위 — 한 타원이 두 군집을 걸치는 나쁜 수렴과 세션 베스트 ℓ 갱신을 겪어 보세요
퇴화 실험: "구형·공유 σ²"를 켜면 GMM이 사실상 K-Means가 됩니다 — 공분산이 곧 두 알고리즘의 차이입니다
대결 3연전: 비교 모드에서 분리형(무승부) → 길쭉형(GMM 압승) → 심술 없는 겹침형 — 승부의 조건을 정리해 보세요

📖 더 깊이 학습하기

Dempster, Laird & Rubin (1977): "Maximum Likelihood from Incomplete Data via the EM Algorithm", JRSS-B — EM의 원전
Bishop (2006): Pattern Recognition and Machine Learning 9장 — 혼합 모형과 EM의 표준 교재
scikit-learn 문서: GaussianMixture — covariance_type·초기화 실무 레퍼런스