p-value는 귀무가설이 참이라고 가정했을 때, 관찰된 결과보다 더 극단적인 결과가 나올 확률입니다. 통계적 유의성을 판단하는 기준으로 사용됩니다.
p-value를 동전 던지기에 비유해보세요. 공정한 동전이라고 주장하는데 10번 던져서 9번 앞면이 나왔다면, 이런 극단적 결과가 우연히 일어날 확률이 p-value입니다. 이 확률이 매우 낮다면 동전이 공정하지 않다고 의심할 수 있습니다.
핵심 포인트
•
귀무가설이 참일 때의 조건부 확률
•
0과 1 사이의 값
•
작을수록 귀무가설에 반하는 강한 증거
•
보통 0.05를 기준으로 판단
간단한 예시
p-value = 0.03이라면, 귀무가설이 참일 때 이런 극단적 결과가 3%의 확률로만 나타난다는 의미입니다.
이해도 확인하기
정답:
귀무가설이 참이라면 관찰된 결과가 나타날 확률이 0.1%에 불과하므로, 귀무가설에 반하는 매우 강한 증거입니다.
p-value는 검정통계량의 분포에서 관찰된 값보다 극단적인 영역의 면적으로 계산됩니다. 양측검정과 단측검정에 따라 계산 방법이 달라집니다.
수학적 공식
양측검정: Loading...
단측검정: Loading... 또는 Loading...
T는 검정통계량의 분포, t_obs는 관찰된 검정통계량 값입니다.
다양한 예시로 이해하기
예시 1: 단측검정에서의 p-value
새로운 치료법이 기존보다 효과적인지 검정
H₀: μ ≤ 50, H₁: μ > 50
t = 2.1 (자유도 24)
P(T > 2.1) = 0.023
해답:
p-value = 0.023 < 0.05이므로 새로운 치료법이 더 효과적입니다.
p = 0.023은 "치료법이 효과적일 확률이 97.7%"라는 뜻이 아닙니다. μ ≤ 50이 참이라는 가정 아래 t = 2.1 이상의 결과가 나올 확률이 2.3%라는 의미입니다. 같은 데이터를 양측검정하면 p = 0.046으로 두 배가 되는데, 검정 방향은 데이터를 보기 전에 정해야 하며 결과를 본 뒤 단측으로 바꾸면 1종 오류율이 실제보다 부풀려집니다.
예시 2: 양측검정에서의 p-value
두 그룹 간 평균 차이 검정
H₀: μ₁ = μ₂, H₁: μ₁ ≠ μ₂
t = -2.5 (자유도 30)
P(|T| > 2.5) = 2 × P(T > 2.5) = 2 × 0.009 = 0.018
해답:
p-value = 0.018 < 0.05이므로 두 그룹 간 유의한 차이가 있습니다.
양측검정이므로 한쪽 꼬리 확률 0.009를 두 배 한 것이 p = 0.018입니다. t = −2.5의 부호는 첫 번째 그룹 평균이 더 작은 방향을 시사하지만, p-value 자체에는 방향 정보가 없습니다. 그리고 p = 0.018은 "두 그룹에 차이가 없을 확률이 1.8%"라는 뜻이 아닙니다 — p-value는 P(데이터|H₀)이지 P(H₀|데이터)가 아니기 때문입니다.
흔한 실수들
잘못된 방법:
p-value를 가설이 참일 확률로 해석
왜 틀렸을까?
p-value는 귀무가설이 참일 때 관찰된 결과보다 극단적인 결과가 나올 확률입니다
올바른 방법:
p-value는 P(데이터|H₀)이지 P(H₀|데이터)가 아닙니다
잘못된 방법:
p-value 크기를 효과 크기로 오해
왜 틀렸을까?
p-value가 작다고 효과가 크다는 의미가 아니며, 표본 크기에 영향받습니다
올바른 방법:
효과 크기는 별도로 계산하고 p-value와 함께 해석하세요
잘못된 방법:
양측검정과 단측검정 구분 실수
왜 틀렸을까?
연구 가설의 방향성에 따라 검정 방법이 달라지며 p-value 계산도 다릅니다
올바른 방법:
가설의 방향성을 명확히 하고 적절한 검정 방법을 선택하세요
실제 사례 분석: 의학 연구에서의 p-value 오남용
배경
신약 개발 과정에서 p-value 의존으로 인한 문제점 분석
문제 상황
다중검정 상황에서 p-value만으로 판단할 때 발생하는 오류를 분석해야 합니다.
데이터 설명
20개 부작용 검사에서 1개가 p=0.04로 유의한 결과 관찰
분석 방법
본페로니 보정법을 활용한 다중검정 보정 및 오류율 분석
해결책 및 결과
다중검정 보정 시 p=0.04×20=0.8 > 0.05로 비유의
실제로는 우연히 발생한 결과일 가능성이 높음
단순 p-value로는 유의했으나 다중검정 보정 후에는 비유의한 결과로 판정됨
결론:
단순한 p-value 기준보다는 임상적 의미, 효과크기, 신뢰구간을 종합적으로 고려해야 합니다.
참고 문헌
Fisher, R. A. (1925), "Statistical Methods for Research Workers", Oliver and Boyd, Edinburgh — p-value를 이용한 유의성 검정과 P=0.05 기준 관행의 기원
Wasserstein, R. L. & Lazar, N. A. (2016), "The ASA's Statement on p-Values: Context, Process, and Purpose", The American Statistician 70(2), 129–133 (DOI 10.1080/00031305.2016.1154108) — p-value의 정의와 흔한 오해석(가설이 참일 확률·효과크기가 아님)을 정리한 미국통계학회 공식 성명
Ioannidis, J. P. A. (2005), "Why Most Published Research Findings Are False", PLoS Medicine 2(8), e124 (DOI 10.1371/journal.pmed.0020124) — p-value 의존이 초래한 재현성 위기를 다룬 메타과학의 기초 논문
Dunn, O. J. (1961), "Multiple Comparisons Among Means", Journal of the American Statistical Association 56(293), 52–64 (DOI 10.1080/01621459.1961.10482090) — 본문 사례연구에서 사용한 본페로니 다중검정 보정의 근거 논문
