넘스탯
LEARN · SIMULATE · VERIFY
확률부터 LLM까지, 원리부터 제대로 배우는 자기주도 학습 플랫폼
가설검정과 p-값 실습
‘우연’이라는 변명이 통하는지, 우연만의 세계를 통째로 재현해 재판에 부칩니다
이 실습의 질문 — 동전 100번 중 앞면 61번, 우연일까 조작일까?
원하는 개념·랩·가이드를 검색해보세요
Ctrl K신약 승인, A/B 테스트, 부정 판정 — 전부 이 하나의 질문으로 결정됩니다
친구가 동전을 100번 던져 앞면이 61번 나왔습니다. “우연이야”라고 주장하는군요. 당신은 회의론자입니다 — 그 변명을 검증할 방법이 있을까요? 있습니다. 정말 공정한 동전만 존재하는 세계를 1,000번 재현해서, 그 세계에서 61번 이상이 얼마나 자주 나오는지 직접 세면 됩니다. 이것이 가설검정의 전부이고, 그 “얼마나 자주”가 바로 p-값입니다. 이 실습에서는 그 세계를 당신이 직접 돌립니다.
이 페이지에서 배우고 나면
- p-값을 정확히 정의할 수 있습니다 — “귀무가설이 참일 확률”이 아니라, 귀무가설의 세계에서 관측만큼 극단적인 결과가 나올 비율입니다.
- 마커를 드래그하며 관측값·표본 크기·검정 방향이 p-값을 어떻게 바꾸는지 실측으로 설명할 수 있습니다.
- “p < 0.05 = 효과가 크다”가 왜 틀렸는지, 그리고 20번 시도하면 하나쯤은 우연히 ‘발견’되는 p-해킹의 구조를 반박할 수 있습니다.
예측 먼저 — 실험 전에 답을 정해 보세요
예측 → 실험 → 확인
정답을 몰라도 괜찮습니다 — 먼저 예측을 정해야 시뮬레이션 결과가 기억에 남습니다. 예측을 고른 뒤 아래 시뮬레이션으로 직접 확인하고, 그다음 결과를 열어 보세요.
1. 동전 검정에서 p-값 = 0.03이 나왔습니다. 이것의 올바른 의미는?
2. 효과가 전혀 없는 동일한 실험을 20개 연구실이 각자 수행하면, p < 0.05가 나오는 연구실은?
귀무 세계 재현 실험 — 회의론자의 기계
“조작은 없다(공정한 동전)”는 세계를 통째로 재현해, 관측된 결과가 그 세계에서 얼마나 드문 일인지 직접 셉니다. 파란 마커(관측 k)를 좌우로 드래그해 보세요.
관측 (앞면 k)
61 / 100
관측 비율
61.0%
이론 p-값 (양측)
0.0352
시뮬레이션 p-값
—
속도
던진 횟수 N = 100 (변경 시 관측 비율 61% 유지)
체험 프리셋:
p-해킹 체험 — 효과가 전혀 없는 연구실 20곳
20개 연구실이 모두 공정한 동전(진짜 효과 0)으로 100번 던지기 실험을 합니다. 그런데도 몇 곳은 p < 0.05가 나옵니다 — 아래 결과는 전부 실제 난수 시행입니다.
실측 요약 — 이 실습이 보여주는 것
"동전 100번 중 앞면 61번은 우연인가"를 판정하기 위해, 공정한 동전만 존재하는 귀무 세계를 최대 2만 번 재현해 관측만큼 극단적인 결과의 비율(시뮬레이션 p-값)을 직접 세고, 이항분포 꼬리 합으로 구한 이론 p-값과 나란히 비교하는 실험입니다. 효과가 0인 연구실 20곳을 동시에 돌리는 p-해킹 체험이 함께 붙어 있습니다.
- N = 100, k = 61의 정확 이항검정 양측 p = 0.0352(단측 0.0176) — k = 60이면 p = 0.0569로 α = 0.05를 넘지 못하며, 양측 기준으로 유의해지는 최초의 k가 바로 61이다
- 실제 귀무 세계 1,000회 재현 실측 예: 앞면 61번만큼 극단적인 실험이 41번 나와 시뮬레이션 p = 0.041 — 이론 p = 0.0352와 나란하다(p-값 = 귀무 세계의 장기 비율)
- 같은 61%라도 표본 크기가 판정을 뒤집는다: N = 20(앞면 12)이면 p = 0.50, N = 400(앞면 244)이면 p ≈ 0.000013 — p-값은 효과의 크기가 아니라 표본의 분별력을 반영한다
바로잡는 오개념: "p = 0.03은 귀무가설(공정한 동전)이 참일 확률이 3%"라는 착각 — p-값은 가설의 확률이 아니라, 가설을 참이라 가정한 세계에서 이만큼 극단적인 데이터가 나올 확률이다.
AI 튜터에게 물어보기
베타
— 정답 대신 힌트로 유도합니다. 지금 화면의 실험 상태를 알고 답해요.
예: “방금 결과가 이론과 다른데 왜죠?”, “이 값을 올렸는데 왜 반대로 변하죠?”
직접 해보기 — 실습 과제
- 회의론자의 눈금: 프리셋 “동전 100번, 앞면 61번”에서 마커를 50 → 55 → 61 → 65로 드래그하며 이론 p-값을 기록하세요. 어디서부터 “우연”이라는 변명이 궁색해지나요? α = 0.05 기각역을 켜서 경계를 확인하세요.
- 귀무 세계 1,000번: “+1,000회”를 눌러 공정한 동전의 세계를 재현하세요. 관측보다 극단적인(빨간) 실험이 1,000번 중 몇 번인가요? 그 비율이 이론 p-값과 얼마나 가까운지 비교하세요 — p-값의 정의를 눈으로 확인하는 순간입니다.
- 유의함 ≠ 중요함: 프리셋 “같은 비율 61%로 N = 400”을 누르세요. 효과 크기(공정한 동전과의 차이 11%p)는 그대로인데 p-값은 어떻게 되었나요? 반대로 N을 20까지 줄이면, 같은 61%가 ‘유의’하지 않게 되는 것도 확인하세요.
- 양측 vs 단측: 같은 관측에서 검정 방향을 바꿔 보세요. p-값이 대략 절반이 됩니다. 데이터를 본 뒤에 유리한 쪽으로 방향을 고르면 안 되는 이유를 생각해 보세요.
- p-해킹 재판: “연구실 20곳 동시 실험”을 5번 이상 반복 실행하세요. 진짜 효과가 0인데도 ‘유의!’ 배지는 평균 1곳꼴로 나옵니다. 유의한 연구만 발표된다면 문헌에는 무엇이 남을까요?
개념 정리 — 가설검정과 p-값
- 귀무가설(H₀)과 대립가설(H₁): 귀무가설은 “아무 일도 없다”는 기본 가정(공정한 동전, p = 0.5), 대립가설은 그것을 의심하는 주장입니다. 검정은 귀무가설에 유리하게 시작하는 회의적 재판입니다.
- p-값: 귀무가설이 참인 세계에서, 관측된 것만큼(또는 그보다) 극단적인 결과가 나올 확률. 이 실습의 시뮬레이션이 보여주듯 “귀무 세계를 무수히 재현했을 때의 장기 비율”로 읽을 수 있습니다. 귀무가설이 참일 확률도, 효과의 크기도 아닙니다.
- 유의수준 α와 기각역: p < α면 귀무가설을 기각하기로 미리 정한 문턱. α = 0.05는 관습이며, α만큼의 확률로 참인 귀무가설을 잘못 기각(제1종 오류)하는 대가를 치릅니다 — p-해킹 체험에서 20곳 중 평균 1곳이 바로 그것입니다.
- 유의성과 효과 크기: p-값은 표본 크기에 민감합니다. 같은 61%도 N = 100에선 애매하고 N = 400에선 ‘매우 유의’합니다. 결론에는 p-값과 함께 효과 크기(여기서는 비율 차이)와 신뢰구간을 봐야 합니다.
- 다음 질문: 검정은 “귀무 세계에서 데이터가 얼마나 놀라운가”만 말합니다. 정작 궁금한 “이 데이터를 보고 나서, 가설이 참일 확률”로 넘어가려면 사전확률이 필요합니다 — 이것이 다음 실습(베이즈 정리)의 주제입니다.
더 깊이 학습하기
- Wasserstein & Lazar (2016): “The ASA Statement on p-Values: Context, Process, and Purpose” (The American Statistician 70(2)) — 미국통계학회의 p-값 공식 성명: p-값이 말하는 것과 말하지 않는 것
- Fisher, R. A. (1935): “The Design of Experiments” (Oliver & Boyd) — 귀무가설 검정 논리의 고전, 차 감별 실험(Lady Tasting Tea)
- Ioannidis, J. P. A. (2005): “Why Most Published Research Findings Are False” (PLoS Medicine 2(8)) — 다중 시도와 출판 편향이 만드는 거짓 발견의 구조