넘스탯

DATA ANALYTICS & INSIGHTS

확률에서 LLM까지 – 데이터 사이언스 전문 교육 플랫폼

학습 메뉴

도움말

홈

가설검정과 p-값 실습

‘우연’이라는 변명이 통하는지, 우연만의 세계를 통째로 재현해 재판에 부칩니다

이 실습의 질문 — 동전 100번 중 앞면 61번, 우연일까 조작일까?

원하는 개념·랩·가이드를 검색해보세요

Ctrl K

확률과 통계 실습실로 확률과 통계 이론

신약 승인, A/B 테스트, 부정 판정 — 전부 이 하나의 질문으로 결정됩니다

친구가 동전을 100번 던져 앞면이 61번 나왔습니다. “우연이야”라고 주장하는군요. 당신은 회의론자입니다 — 그 변명을 검증할 방법이 있을까요? 있습니다. 정말 공정한 동전만 존재하는 세계를 1,000번 재현해서, 그 세계에서 61번 이상이 얼마나 자주 나오는지 직접 세면 됩니다. 이것이 가설검정의 전부이고, 그 “얼마나 자주”가 바로 p-값입니다. 이 실습에서는 그 세계를 당신이 직접 돌립니다.

이 페이지에서 배우고 나면

p-값을 정확히 정의할 수 있습니다 — “귀무가설이 참일 확률”이 아니라, 귀무가설의 세계에서 관측만큼 극단적인 결과가 나올 비율입니다.
마커를 드래그하며 관측값·표본 크기·검정 방향이 p-값을 어떻게 바꾸는지 실측으로 설명할 수 있습니다.
“p < 0.05 = 효과가 크다”가 왜 틀렸는지, 그리고 20번 시도하면 하나쯤은 우연히 ‘발견’되는 p-해킹의 구조를 반박할 수 있습니다.

이 실습은 실제 계산입니다 — 그리고 정직한 한계가 있습니다

이론 p-값은 이항분포 확률의 정확한 합이고, 시뮬레이션 p-값은 브라우저에서 지금 실행되는 실제 난수 실험의 실측 비율입니다. 결과를 보정하지 않습니다. 함께 기억할 것:

p-값은 “귀무가설이 참일 확률”이 아닙니다. 귀무가설을 참이라고 가정한 세계에서 데이터가 얼마나 놀라운지를 잴 뿐입니다.
귀무 세계를 1,000번 재현해도 시뮬레이션 p는 이론 p와 정확히 일치하지 않습니다 — 그 오차 자체가 무작위이며, 실험을 쌓을수록 줄어듭니다.
α = 0.05는 자연법칙이 아니라 관습(Fisher의 제안에서 유래)입니다. 0.049와 0.051 사이에 마법의 경계는 없습니다.
여기서는 성공 확률이 명확한 동전(정확한 이항검정)을 다룹니다. 실제 연구의 검정들은 통계량과 분포가 다르지만, “귀무 세계에서 세어 본다”는 논리는 동일합니다.

귀무 세계 재현 실험 — 회의론자의 기계

“조작은 없다(공정한 동전)”는 세계를 통째로 재현해, 관측된 결과가 그 세계에서 얼마나 드문 일인지 직접 셉니다. 파란 마커(관측 k)를 좌우로 드래그해 보세요.

관측 (앞면 k)

61 / 100

관측 비율

61.0%

이론 p-값 (양측)

0.0352

시뮬레이션 p-값

—

속도

던진 횟수 N = 100 (변경 시 관측 비율 61% 유지)

α = 0.05 기각역 표시

체험 프리셋:

p-해킹 체험 — 효과가 전혀 없는 연구실 20곳

20개 연구실이 모두 공정한 동전(진짜 효과 0)으로 100번 던지기 실험을 합니다. 그런데도 몇 곳은 p < 0.05가 나옵니다 — 아래 결과는 전부 실제 난수 시행입니다.

무엇을 발견했나요?

마커를 50에서 한 칸씩 밀 때 p-값이 어떻게 변하나요? N = 100에서 p가 0.05 아래로 처음 떨어지는 k는 몇일까요? (기각역 토글로 확인)
귀무 세계 실험을 1,000번 쌓으면 시뮬레이션 p가 이론 p에 다가갑니다 — 그렇다면 p-값의 정의를 “확률” 대신 “장기 비율”로 말할 수 있나요?
같은 61%인데 N = 100과 N = 400에서 판정이 달라졌습니다. p-값이 말해 주는 것과 말해 주지 않는 것은 각각 무엇인가요?

직접 해보기 — 실습 과제

회의론자의 눈금: 프리셋 “동전 100번, 앞면 61번”에서 마커를 50 → 55 → 61 → 65로 드래그하며 이론 p-값을 기록하세요. 어디서부터 “우연”이라는 변명이 궁색해지나요? α = 0.05 기각역을 켜서 경계를 확인하세요.
귀무 세계 1,000번: “+1,000회”를 눌러 공정한 동전의 세계를 재현하세요. 관측보다 극단적인(빨간) 실험이 1,000번 중 몇 번인가요? 그 비율이 이론 p-값과 얼마나 가까운지 비교하세요 — p-값의 정의를 눈으로 확인하는 순간입니다.
유의함 ≠ 중요함: 프리셋 “같은 비율 61%로 N = 400”을 누르세요. 효과 크기(공정한 동전과의 차이 11%p)는 그대로인데 p-값은 어떻게 되었나요? 반대로 N을 20까지 줄이면, 같은 61%가 ‘유의’하지 않게 되는 것도 확인하세요.
양측 vs 단측: 같은 관측에서 검정 방향을 바꿔 보세요. p-값이 대략 절반이 됩니다. 데이터를 본 뒤에 유리한 쪽으로 방향을 고르면 안 되는 이유를 생각해 보세요.
p-해킹 재판: “연구실 20곳 동시 실험”을 5번 이상 반복 실행하세요. 진짜 효과가 0인데도 ‘유의!’ 배지는 평균 1곳꼴로 나옵니다. 유의한 연구만 발표된다면 문헌에는 무엇이 남을까요?

개념 정리 — 가설검정과 p-값

귀무가설(H₀)과 대립가설(H₁): 귀무가설은 “아무 일도 없다”는 기본 가정(공정한 동전, p = 0.5), 대립가설은 그것을 의심하는 주장입니다. 검정은 귀무가설에 유리하게 시작하는 회의적 재판입니다.
p-값: 귀무가설이 참인 세계에서, 관측된 것만큼(또는 그보다) 극단적인 결과가 나올 확률. 이 실습의 시뮬레이션이 보여주듯 “귀무 세계를 무수히 재현했을 때의 장기 비율”로 읽을 수 있습니다. 귀무가설이 참일 확률도, 효과의 크기도 아닙니다.
유의수준 α와 기각역: p < α면 귀무가설을 기각하기로 미리 정한 문턱. α = 0.05는 관습이며, α만큼의 확률로 참인 귀무가설을 잘못 기각(제1종 오류)하는 대가를 치릅니다 — p-해킹 체험에서 20곳 중 평균 1곳이 바로 그것입니다.
유의성과 효과 크기: p-값은 표본 크기에 민감합니다. 같은 61%도 N = 100에선 애매하고 N = 400에선 ‘매우 유의’합니다. 결론에는 p-값과 함께 효과 크기(여기서는 비율 차이)와 신뢰구간을 봐야 합니다.
다음 질문: 검정은 “귀무 세계에서 데이터가 얼마나 놀라운가”만 말합니다. 정작 궁금한 “이 데이터를 보고 나서, 가설이 참일 확률”로 넘어가려면 사전확률이 필요합니다 — 이것이 다음 실습(베이즈 정리)의 주제입니다.

다음: ‘데이터가 놀라운가’에서 ‘가설이 참인가’로

p-값은 P(데이터|가설)의 이야기였습니다. 그런데 우리가 정말 알고 싶은 것은 반대 방향, P(가설|데이터)입니다 — 이 둘을 잇는 다리가 베이즈 정리입니다. 정확도 99% 검사에서 양성이 나와도 환자일 확률이 절반이 안 되는 역설을 1,000명 그리드로 직접 셉니다. 구간으로 답하는 추정이 궁금하다면 신뢰구간 실습으로 가도 좋습니다.

더 깊이 학습하기

Wasserstein & Lazar (2016): “The ASA Statement on p-Values: Context, Process, and Purpose” (The American Statistician 70(2)) — 미국통계학회의 p-값 공식 성명: p-값이 말하는 것과 말하지 않는 것
Fisher, R. A. (1935): “The Design of Experiments” (Oliver & Boyd) — 귀무가설 검정 논리의 고전, 차 감별 실험(Lady Tasting Tea)
Ioannidis, J. P. A. (2005): “Why Most Published Research Findings Are False” (PLoS Medicine 2(8)) — 다중 시도와 출판 편향이 만드는 거짓 발견의 구조