8.5 Power of a Statistical Test

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

1. 이론정리
 1) 검정력의 정의  
    (1) 검정력(Power)의 개념  
        a) 통계적 검정에서 검정력은 귀무가설 \( H_0 \) 이 거짓일 때 이를 올바르게 기각할 확률을 의미함.  
        b) 이는 제2종 오류(Type II Error) 확률 \( \beta \) 와 관련되며, 다음과 같이 정의됨.  
        \[
        \text{Power} = 1 - \beta
        \]
        c) 높은 검정력은 대립가설 \( H_1 \) 이 참일 때 이를 검출할 가능성이 크다는 것을 의미함.  
    (2) 검정력 함수(Power Function)  
        a) 검정력 함수 \( K(\theta) \) 는 주어진 검정에서 가설을 평가할 때 파라미터 \( \theta \) 에 따른 검정력 변화를 나타냄.  
        b) 즉, 특정 \( \theta \) 값에 대해 검정이 \( H_0 \) 을 기각할 확률을 나타내는 함수로 정의됨.  
    (3) 검정력과 유의수준의 관계  
        a) 유의수준 \( \alpha \) (제1종 오류 확률)가 증가하면 검정력도 증가하는 경향이 있음.  
        b) 그러나 \( \alpha \) 가 커지면 \( H_0 \) 이 참일 때도 기각될 가능성이 증가하여 오류 균형이 필요함.  

 2) 검정력 계산  
    (1) 검정력의 일반적인 계산 방식  
        a) 검정력 \( K(\theta) \) 는 대립가설 하에서 검정 통계량이 임계값을 초과할 확률로 정의됨.  
        b) 즉,  
        \[
        K(\theta) = P(T > c \mid \theta)
        \]
        여기서 \( T \) 는 검정 통계량이고 \( c \) 는 임계값임.  
    (2) 검정력의 결정 요인  
        a) 표본 크기 \( n \) : \( n \) 이 증가하면 검정력도 증가함.  
        b) 효과 크기(Effect Size): \( H_0 \) 과 \( H_1 \) 간의 차이가 클수록 검정력이 커짐.  
        c) 유의수준 \( \alpha \) : \( \alpha \) 가 커지면 검정력이 증가하지만, 제1종 오류 위험도 커짐.  
        d) 데이터 변동성 \( \sigma \) : 모집단의 표준편차가 작을수록 검정력이 증가함.  

 3) 검정력 개선 방법  
    (1) 표본 크기 증가  
        a) \( n \) 이 클수록 검정력 \( K(\theta) \) 가 증가하여 제2종 오류 \( \beta \) 가 감소함.  
        b) 따라서 실험 설계 시 적절한 표본 크기를 선택하는 것이 중요함.  
    (2) 적절한 유의수준 설정  
        a) \( \alpha \) 를 증가시키면 검정력이 증가하지만, 제1종 오류가 커지는 문제가 발생함.  
        b) 일반적으로 \( \alpha = 0.05 \) 또는 \( 0.01 \) 을 선택하여 균형을 맞춤.  
    (3) 효과적인 검정법 선택  
        a) 동일한 가설에 대해 더 강력한 검정을 선택하면 검정력이 향상됨.  
        b) 예: 이항 검정보다 정규근사법을 사용할 경우 검정력이 증가할 수 있음.  
    (4) 데이터 변동성 감소  
        a) 모집단의 표준편차 \( \sigma \) 를 줄이면 검정력이 향상됨.  
        b) 이를 위해 측정 오차를 줄이거나, 더 동질적인 표본을 선정할 수 있음.  

 4) 검정력과 최적의 검정  
    (1) 최적의 검정(Optimal Test)  
        a) 최적 검정이란 주어진 조건에서 검정력을 최대화하는 검정을 의미함.  
        b) 특히, 동일한 유의수준 하에서 검정력이 가장 큰 검정을 UMP(Uniformly Most Powerful) 검정이라고 함.  
    (2) 검정력 비교  
        a) 서로 다른 검정 방법의 검정력을 비교하여 최적 검정을 선택함.  
        b) 예: 평균 비교 시 \( t \)-검정과 비모수 검정을 비교하여 검정력이 더 큰 방법을 선택 가능.  
    (3) 대립가설의 종류에 따른 검정력 변화  
        a) 양측 검정보다 단측 검정이 일반적으로 검정력이 큼.  
        b) 이는 단측 검정이 특정 방향에서만 기각을 고려하기 때문임.  

 5) 검정력 분석(Power Analysis)  
    (1) 검정력 분석의 필요성  
        a) 실험 설계에서 충분한 검정력을 확보하기 위해 사전에 분석이 필요함.  
        b) 검정력 분석을 통해 필요한 표본 크기를 결정 가능함.  
    (2) 검정력 분석의 주요 요소  
        a) 효과 크기: Cohen의 \( d \) 등으로 효과 크기를 정량적으로 평가함.  
        b) 유의수준: \( \alpha \) 를 설정하여 제1종 오류를 통제함.  
        c) 표본 크기: 필요한 검정력을 확보하기 위한 최소 \( n \) 을 결정함.  
    (3) 사후 검정력(Post-hoc Power)  
        a) 연구 후 검정력을 평가하여 연구의 신뢰성을 검토할 수 있음.  
        b) 단, 사후 검정력은 연구 설계 시보다 활용도가 낮음.  

 

2. 연습문제  
 1) 문제  
    (1) 모집단이 정규분포 \( N(\mu, 16) \) 을 따른다고 가정하자.  
        귀무가설 \( H_0: \mu = 50 \), 대립가설 \( H_1: \mu > 50 \) 에 대한 검정력을 계산하라.  
        표본 크기는 \( n = 25 \), 유의수준은 \( \alpha = 0.05 \) 로 설정한다.  

    (2) 표본 크기를 \( n = 36 \) 으로 늘렸을 때, 위 검정의 검정력을 다시 계산하라.  

    (3) 동일한 설정에서, \( \alpha = 0.01 \) 로 유의수준을 변경했을 때의 검정력을 계산하라.  

2) 답안  
    (1) 풀이  
        - 검정통계량은 다음과 같이 정의됨.  
          \[
          Z = \frac{\bar{X} - \mu_0}{\sigma / \sqrt{n}}
          \]
          여기서, \( \mu_0 = 50 \), \( \sigma = 4 \), \( n = 25 \) 이므로  
          \[
          Z = \frac{\bar{X} - 50}{4 / \sqrt{25}} = \frac{\bar{X} - 50}{0.8}
          \]
        - 기각역은 \( Z > z_{0.05} = 1.645 \)  
        - 검정력 계산:  
          \[
          P(Z > 1.645 \mid \mu = 52) = P \left( \frac{\bar{X} - 50}{0.8} > 1.645 \mid \mu = 52 \right)
          \]
          \[
          = P \left( \bar{X} > 50 + (1.645 \times 0.8) \mid \mu = 52 \right)
          \]
          \[
          = P \left( \bar{X} > 51.316 \mid \mu = 52 \right)
          \]
          \[
          = P \left( Z > \frac{51.316 - 52}{0.8} \right) = P(Z > -0.855)
          \]
        - 표준 정규분포에서 \( P(Z > -0.855) = 0.803 \)  
        - 따라서 검정력은 0.803  

    (2) 풀이  
        - 표본 크기 증가: \( n = 36 \), 표준오차  
          \[
          \sigma / \sqrt{n} = 4 / \sqrt{36} = 4 / 6 = 0.667
          \]
        - 동일한 방식으로 검정통계량을 정의하면,  
          \[
          Z = \frac{\bar{X} - 50}{0.667}
          \]
        - 기각역은 \( Z > z_{0.05} = 1.645 \)  
        - 검정력 계산:  
          \[
          P(Z > 1.645 \mid \mu = 52) = P \left( \frac{\bar{X} - 50}{0.667} > 1.645 \mid \mu = 52 \right)
          \]
          \[
          = P \left( \bar{X} > 50 + (1.645 \times 0.667) \mid \mu = 52 \right)
          \]
          \[
          = P \left( \bar{X} > 51.097 \mid \mu = 52 \right)
          \]
          \[
          = P \left( Z > \frac{51.097 - 52}{0.667} \right) = P(Z > -1.354)
          \]
        - 표준 정규분포에서 \( P(Z > -1.354) = 0.912 \)  
        - 따라서 검정력은 0.912  

    (3) 풀이  
        - 유의수준 \( \alpha = 0.01 \) 일 때, 기각역: \( Z > z_{0.01} = 2.33 \)  
        - 검정력 계산:  
          \[
          P(Z > 2.33 \mid \mu = 52) = P \left( \frac{\bar{X} - 50}{0.8} > 2.33 \mid \mu = 52 \right)
          \]
          \[
          = P \left( \bar{X} > 50 + (2.33 \times 0.8) \mid \mu = 52 \right)
          \]
          \[
          = P \left( \bar{X} > 51.864 \mid \mu = 52 \right)
          \]
          \[
          = P \left( Z > \frac{51.864 - 52}{0.8} \right) = P(Z > -0.170)
          \]
        - 표준 정규분포에서 \( P(Z > -0.170) = 0.567 \)  
        - 따라서 검정력은 0.567  

# R code
# (1) n = 25, alpha = 0.05
mu_0 <- 50
mu_A <- 52
sigma <- 4
n <- 25
alpha <- 0.05
z_alpha <- qnorm(1 - alpha)

# 검정력 계산
power_1 <- pnorm((mu_A - mu_0) / (sigma / sqrt(n)) - z_alpha, lower.tail = FALSE)
cat("검정력 (n=25, alpha=0.05):", power_1, "\n")

# (2) n = 36, alpha = 0.05
n <- 36
power_2 <- pnorm((mu_A - mu_0) / (sigma / sqrt(n)) - z_alpha, lower.tail = FALSE)
cat("검정력 (n=36, alpha=0.05):", power_2, "\n")

# (3) n = 25, alpha = 0.01
n <- 25
alpha <- 0.01
z_alpha <- qnorm(1 - alpha)
power_3 <- pnorm((mu_A - mu_0) / (sigma / sqrt(n)) - z_alpha, lower.tail = FALSE)
cat("검정력 (n=25, alpha=0.01):", power_3, "\n")

# Python code
import scipy.stats as stats

# (1) n = 25, alpha = 0.05
mu_0 = 50
mu_A = 52
sigma = 4
n = 25
alpha = 0.05
z_alpha = stats.norm.ppf(1 - alpha)

# 검정력 계산
power_1 = 1 - stats.norm.cdf(z_alpha - (mu_A - mu_0) / (sigma / (n ** 0.5)))
print(f"검정력 (n=25, alpha=0.05): {power_1:.3f}")

# (2) n = 36, alpha = 0.05
n = 36
power_2 = 1 - stats.norm.cdf(z_alpha - (mu_A - mu_0) / (sigma / (n ** 0.5)))
print(f"검정력 (n=36, alpha=0.05): {power_2:.3f}")

# (3) n = 25, alpha = 0.01
n = 25
alpha = 0.01
z_alpha = stats.norm.ppf(1 - alpha)
power_3 = 1 - stats.norm.cdf(z_alpha - (mu_A - mu_0) / (sigma / (n ** 0.5)))
print(f"검정력 (n=25, alpha=0.01): {power_3:.3f}")

---

참조) 검정력 그래프 파이썬 코드

import numpy as np
import scipy.stats as stats
import matplotlib.pyplot as plt

# 모집단 설정
mu_0 = 50  # 귀무가설 평균
mu_1 = 52  # 대립가설 평균
sigma = 4  # 표준편차
alpha = 0.05  # 유의수준

# 임계값 계산 (Z값 기준)
z_alpha = stats.norm.ppf(1 - alpha)  # z_0.05 = 1.645
c = mu_0 + z_alpha * (sigma / np.sqrt(25))  # n=25인 경우

# x축 범위
x = np.linspace(40, 60, 1000)

# H0, H1 분포 계산
pdf_H0 = stats.norm.pdf(x, mu_0, sigma / np.sqrt(25))  # 표본 평균 분포
pdf_H1 = stats.norm.pdf(x, mu_1, sigma / np.sqrt(25))

# 그래프 설정
plt.figure(figsize=(10, 6))
plt.plot(x, pdf_H0, 'b-', label=r'$H_0: N(50, 4^2/25)$')
plt.plot(x, pdf_H1, 'r-', label=r'$H_1: N(52, 4^2/25)$')

# 유의수준 (α 영역)
plt.fill_between(x, pdf_H0, where=(x >= c), color='blue', alpha=0.3, label=r'$\alpha$ (Type I Error)')

# 제2종 오류 (β 영역)
plt.fill_between(x, pdf_H1, where=(x <= c), color='red', alpha=0.3, label=r'$\beta$ (Type II Error)')

# 검정력 (1-β 영역)
plt.fill_between(x, pdf_H1, where=(x > c), color='green', alpha=0.3, label=r'Power = $1 - \beta$')

# 수직선 (임계값)
plt.axvline(c, color='black', linestyle='dashed', label=f'Critical Value (c={c:.2f})')

# 그래프 설정
plt.xlabel('Sample Mean')
plt.ylabel('Density')
plt.title('Power of a Statistical Test')
plt.legend()
plt.grid()

# 그래프 출력
plt.show()