9.3 One-Factor Analysis of Variance

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

1. 이론정리  
 1) 개요  
    (1) 일원분산분석(One-Way Analysis of Variance, ANOVA)  
        a) 한 개의 요인(factor)이 여러 수준(level)을 가질 때 모집단 평균 간 차이를 비교하는 통계적 방법  
        b) 예: 교육 방법(A, B, C)에 따른 시험 성적 비교, 비료 유형에 따른 작물 수확량 비교  
        c) 모집단이 세 개 이상일 때, t-검정보다 더 적절한 방법  
    (2) 가정  
        a) 각 모집단은 정규분포를 따른다.  
        b) 모든 모집단의 분산은 동일하다(등분산성 가정).  
        c) 각 표본은 서로 독립적이다.  

 2) 가설 검정  
    (1) 귀무가설(H0): 모든 모집단 평균이 동일하다.  
        \[
        H_0: \mu_1 = \mu_2 = ... = \mu_m
        \]  
    (2) 대립가설(H1): 적어도 하나의 모집단 평균이 다르다.  
    (3) 검정 방법  
        a) 총 변동을 처리 간 변동(SS(T))과 오차 변동(SS(E))으로 분해  
        b) 분산비 검정(F-test) 수행  

 3) 제곱합(Sum of Squares, SS) 유도 과정  
    (1) 데이터 정의  
        a) 모집단 개수: \( m \)  
        b) 각 모집단의 샘플 개수: \( n_i \)  
        c) 전체 샘플 개수: \( N = \sum n_i \)  
        d) 개별 데이터: \( X_{ij} \) (i번째 그룹의 j번째 샘플)  
        e) 그룹 평균:  
           \[
           \bar{X}_i = \frac{1}{n_i} \sum_{j=1}^{n_i} X_{ij}
           \]
        f) 전체 평균:  
           \[
           \bar{X}_{..} = \frac{1}{N} \sum_{i=1}^{m} \sum_{j=1}^{n_i} X_{ij}
           \]

    (2) 총 제곱합(Total Sum of Squares, \( SS(TO) \))  
        a) 전체 데이터의 변동을 측정  
        b) 정의:  
           \[
           SS(TO) = \sum_{i=1}^{m} \sum_{j=1}^{n_i} (X_{ij} - \bar{X}_{..})^2
           \]
        c) 유도 과정  
           - 전체 평균과 개별 데이터 간 편차의 제곱 합  

    (3) 처리 제곱합(Treatment Sum of Squares, \( SS(T) \))  
        a) 그룹 간 변동을 측정  
        b) 정의:  
           \[
           SS(T) = \sum_{i=1}^{m} n_i (\bar{X}_i - \bar{X}_{..})^2
           \]
        c) 유도 과정  
           - 각 그룹 평균과 전체 평균 간 편차를 이용하여 계산  

    (4) 오차 제곱합(Error Sum of Squares, \( SS(E) \))  
        a) 그룹 내 개별 데이터의 변동을 측정  
        b) 정의:  
           \[
           SS(E) = \sum_{i=1}^{m} \sum_{j=1}^{n_i} (X_{ij} - \bar{X}_i)^2
           \]
        c) 유도 과정  
           - 각 샘플과 해당 그룹 평균 간 편차의 제곱 합  

    (5) 변동 분해 관계  
        a) 총 변동은 처리 간 변동과 오차 변동의 합으로 분해됨  
           \[
           SS(TO) = SS(T) + SS(E)
           \]

 4) 분산 분석 표 (ANOVA Table)  

Source	Sum of Squares (SS)	Degrees of Freedom (df)	Mean Square (MS)	F-ratio
Treatment	\( SS(T) \)	\( m-1 \)	\( MS(T) = \frac{SS(T)}{m-1} \)	\( F = \frac{MS(T)}{MS(E)} \)
Error	\( SS(E) \)	\( N-m \)	\( MS(E) = \frac{SS(E)}{N-m} \)	-
Total	\( SS(TO) \)	\( N-1 \)	-	-

 5) F 검정통계량  
    (1) 정의  
        a) 처리 간 변동(SS(T))이 오차 변동(SS(E))보다 큰지를 평가하는 지표  
        b) 분산비 검정(F-test) 사용  
    (2) 수식  
        \[
        F = \frac{MS(T)}{MS(E)} = \frac{SS(T) / (m-1)}{SS(E) / (N-m)}
        \]
    (3) 자유도  
        a) 분자의 자유도: \( df_T = m - 1 \)  
        b) 분모의 자유도: \( df_E = N - m \)  
        c) F-분포 \( F(m-1, N-m) \) 사용하여 유의성 검정 수행  

 

6) 정리 9.3-1 (Theorem 9.3-1)  

  (1) 정리 내용  
      a) \( Q = Q_1 + Q_2 + \cdots + Q_k \) 이고, \( Q, Q_1, ..., Q_k \) 는 동일한 분산 \( \sigma^2 \) 을 가지는 
          서로 독립적인 정규분포를 따르는 \( n \) 개의 변수에 대한 이차형식(quadratic form)이다.  
      b) \( Q/\sigma^2, Q_1/\sigma^2, ..., Q_{k-1}/\sigma^2 \) 는 각각 카이제곱 분포를 따르며 자유도는
           \( r, r_1, ..., r_{k-1} \) 이다.  
      c) 만약 \( Q_k \) 가 음이 아닌 경우, 다음이 성립한다.  
          - (a) \( Q_1, ..., Q_k \) 는 서로 독립이다.  
          - (b) \( Q_k/\sigma^2 \) 는 자유도가 \( r - (r_1 + ... + r_{k-1}) = r_k \) 인 카이제곱 분포를 따른다.  

  (2) 증명  
  a) \( X_1, X_2, ..., X_n \) 이 평균이 0이고 분산이 \( \sigma^2 \) 인 서로 독립적인 정규분포를 따른다고 가정한다.  
  b) 임의의 이차형식 \( Q = X^T A X \) 를 정의하면, 특정 행렬 \( A \) 에 따라 \( Q \) 는 카이제곱 분포를 따를 수 있다.  
  c) 가정에 따라, \( Q_1, Q_2, ..., Q_k \) 역시 같은 분산을 가지는 정규분포를 따르는 변수들의 이차형식이므로,  
     \[
     Q = Q_1 + Q_2 + \cdots + Q_k
     \]
     가 성립한다.  
  d) 카이제곱 분포의 가법성(additivity of chi-square distribution) 성질에 의해, 각각의 \( Q_i \) 가 서로 독립이면,
      그 합도 카이제곱 분포를 따른다.  
  e) 만약 \( Q_k = Q - (Q_1 + ... + Q_{k-1}) \) 가 음이 아닌 경우,  
     \[
     Q_k = Q - \sum_{i=1}^{k-1} Q_i
     \]
     이므로, 남은 자유도는 다음과 같이 계산된다.  
     \[
     r_k = r - (r_1 + r_2 + ... + r_{k-1})
     \]
  f) 따라서, \( Q_k/\sigma^2 \) 는 자유도가 \( r_k \) 인 카이제곱 분포를 따르며, 또한 \( Q_1, ..., Q_k \) 는 서로 독립임을
     알 수 있다. 

 

2. 예제  
1) 문제  
    (1) 예제 1: 교육 방법에 따른 학생 성적 비교  
        - 세 가지 교육 방법(A, B, C)을 적용한 후 학생들의 시험 성적이 차이가 있는지 검정하라.  
        - 데이터:  
          - A: [85, 90, 88, 92, 86]  
          - B: [78, 82, 85, 80, 79]  
          - C: [90, 88, 91, 92, 89]  
        - 유의수준: 0.05  

    (2) 예제 2: 비료 종류에 따른 작물 성장 비교  
        - 서로 다른 세 종류의 비료(X, Y, Z)가 작물 성장에 미치는 영향을 비교한다.  
        - 데이터:  
          - X: [15, 18, 16, 20, 19]  
          - Y: [22, 24, 23, 25, 26]  
          - Z: [12, 14, 13, 11, 15]  
        - 유의수준: 0.05  

    (3) 예제 3: 광고 유형별 제품 판매량 비교  
        - 세 가지 광고 유형(A, B, C)이 제품 판매량에 미치는 영향을 비교한다.  
        - 데이터:  
          - A: [55, 60, 58, 62, 57]  
          - B: [48, 50, 52, 47, 49]  
          - C: [65, 68, 66, 70, 64]  
        - 유의수준: 0.05  

2) 답안   
    (1) 예제 1: 교육 방법에 따른 학생 성적 비교  
        a) 각 그룹의 평균 및 전체 평균 계산  
           - A 그룹 평균:  
             \[
             \bar{X}_A = \frac{85 + 90 + 88 + 92 + 86}{5} = 88.2
             \]  
           - B 그룹 평균:  
             \[
             \bar{X}_B = \frac{78 + 82 + 85 + 80 + 79}{5} = 80.8
             \]  
           - C 그룹 평균:  
             \[
             \bar{X}_C = \frac{90 + 88 + 91 + 92 + 89}{5} = 90.0
             \]  
           - 전체 평균:  
             \[
             \bar{X}_{..} = \frac{(88.2 \times 5) + (80.8 \times 5) + (90.0 \times 5)}{15} = 86.33
             \]  

        b) 총 제곱합(SS(TO)) 계산  
           \[
           SS(TO) = \sum_{i=1}^{m} \sum_{j=1}^{n_i} (X_{ij} - \bar{X}_{..})^2
           \]  
           \[
           SS(TO) = (85-86.33)^2 + (90-86.33)^2 + \dots + (89-86.33)^2 = 166.67
           \]  

        c) 처리 제곱합(SS(T)) 계산  
           \[
           SS(T) = \sum_{i=1}^{m} n_i (\bar{X}_i - \bar{X}_{..})^2
           \]  
           \[
           SS(T) = 5(88.2 - 86.33)^2 + 5(80.8 - 86.33)^2 + 5(90.0 - 86.33)^2 = 119.07
           \]  

        d) 오차 제곱합(SS(E)) 계산  
           \[
           SS(E) = SS(TO) - SS(T) = 166.67 - 119.07 = 47.6
           \]  

        e) 자유도 계산  
           - 처리 자유도(df_T) = \( m - 1 = 3 - 1 = 2 \)  
           - 오차 자유도(df_E) = \( N - m = 15 - 3 = 12 \)  

        f) F 검정통계량 계산  
           \[
           F = \frac{MS(T)}{MS(E)} = \frac{SS(T) / df_T}{SS(E) / df_E}
           \]  
           \[
           F = \frac{119.07 / 2}{47.6 / 12} = \frac{59.54}{3.97} = 15.01
           \]  

        g) 유의수준 0.05에서 F 임계값(자유도 2, 12) = 3.89  
           - \( 15.01 > 3.89 \) → 귀무가설 기각  
           - 결론: 교육 방법에 따라 학생 성적이 유의미한 차이를 보인다.   
   
    (2) 예제 2: 비료 종류에 따른 작물 성장 비교  
        a) 각 그룹의 평균 및 전체 평균 계산  
           - X 그룹 평균:  
             \[
             \bar{X}_X = \frac{15 + 18 + 16 + 20 + 19}{5} = 17.6
             \]  
           - Y 그룹 평균:  
             \[
             \bar{X}_Y = \frac{22 + 24 + 23 + 25 + 26}{5} = 24.0
             \]  
           - Z 그룹 평균:  
             \[
             \bar{X}_Z = \frac{12 + 14 + 13 + 11 + 15}{5} = 13.0
             \]  
           - 전체 평균:  
             \[
             \bar{X}_{..} = \frac{(17.6 \times 5) + (24.0 \times 5) + (13.0 \times 5)}{15} = 18.2
             \]  

        b) 총 제곱합(SS(TO)) 계산  
           \[
           SS(TO) = \sum_{i=1}^{m} \sum_{j=1}^{n_i} (X_{ij} - \bar{X}_{..})^2
           \]  
           \[
           SS(TO) = (15-18.2)^2 + (18-18.2)^2 + \dots + (15-18.2)^2 = 87.6
           \]  

        c) 처리 제곱합(SS(T)) 계산  
           \[
           SS(T) = \sum_{i=1}^{m} n_i (\bar{X}_i - \bar{X}_{..})^2
           \]  
           \[
           SS(T) = 5(17.6 - 18.2)^2 + 5(24.0 - 18.2)^2 + 5(13.0 - 18.2)^2 = 82.0
           \]  

        d) 오차 제곱합(SS(E)) 계산  
           \[
           SS(E) = SS(TO) - SS(T) = 87.6 - 82.0 = 5.6
           \]  

        e) 자유도 계산  
           - 처리 자유도(df_T) = \( m - 1 = 3 - 1 = 2 \)  
           - 오차 자유도(df_E) = \( N - m = 15 - 3 = 12 \)  

        f) F 검정통계량 계산  
           \[
           F = \frac{MS(T)}{MS(E)} = \frac{SS(T) / df_T}{SS(E) / df_E}
           \]  
           \[
           F = \frac{82.0 / 2}{5.6 / 12} = \frac{41.0}{0.467} = 87.8
           \]  

        g) 유의수준 0.05에서 F 임계값(자유도 2, 12) = 3.89  
           - \( 87.8 > 3.89 \) → 귀무가설 기각  
           - 결론: 비료 종류에 따라 작물 성장량이 유의미하게 다르다.   

    (3) 예제 3: 광고 유형별 제품 판매량 비교  
        a) 각 그룹의 평균 및 전체 평균 계산  
           - A 그룹 평균:  
             \[
             \bar{X}_A = \frac{55 + 60 + 58 + 62 + 57}{5} = 58.4
             \]  
           - B 그룹 평균:  
             \[
             \bar{X}_B = \frac{48 + 50 + 52 + 47 + 49}{5} = 49.2
             \]  
           - C 그룹 평균:  
             \[
             \bar{X}_C = \frac{65 + 68 + 66 + 70 + 64}{5} = 66.6
             \]  
           - 전체 평균:  
             \[
             \bar{X}_{..} = \frac{(58.4 \times 5) + (49.2 \times 5) + (66.6 \times 5)}{15} = 58.0
             \]  

        b) 총 제곱합(SS(TO)) 계산  
           \[
           SS(TO) = \sum_{i=1}^{m} \sum_{j=1}^{n_i} (X_{ij} - \bar{X}_{..})^2 = 185.2
           \]  

        c) 처리 제곱합(SS(T)) 계산  
           \[
           SS(T) = \sum_{i=1}^{m} n_i (\bar{X}_i - \bar{X}_{..})^2 = 166.4
           \]  

        d) 오차 제곱합(SS(E)) 계산  
           \[
           SS(E) = SS(TO) - SS(T) = 185.2 - 166.4 = 18.8
           \]  

        e) 자유도 계산  
           - 처리 자유도(df_T) = \( m - 1 = 3 - 1 = 2 \)  
           - 오차 자유도(df_E) = \( N - m = 15 - 3 = 12 \)  

        f) F 검정통계량 계산  
           \[
           F = \frac{166.4 / 2}{18.8 / 12} = \frac{83.2}{1.567} = 53.1
           \]  

        g) 유의수준 0.05에서 F 임계값(자유도 2, 12) = 3.89  
           - \( 53.1 > 3.89 \) → 귀무가설 기각  
           - 결론: 광고 유형에 따라 제품 판매량에 유의미한 차이가 있다.   

# R code
# 문제 1
# 데이터 생성
scores <- list(A = c(85, 90, 88, 92, 86),
               B = c(78, 82, 85, 80, 79),
               C = c(90, 88, 91, 92, 89))

# 데이터 변환
data <- stack(scores)

# 분산분석 수행
result <- aov(values ~ ind, data = data)
summary(result)

# 문제 2
# 데이터 생성
fertilizer <- list(X = c(15, 18, 16, 20, 19),
                   Y = c(22, 24, 23, 25, 26),
                   Z = c(12, 14, 13, 11, 15))

# 데이터 변환
data <- stack(fertilizer)

# 분산분석 수행
result <- aov(values ~ ind, data = data)
summary(result)

# 문제 3
# 데이터 생성
ads <- list(A = c(55, 60, 58, 62, 57),
            B = c(48, 50, 52, 47, 49),
            C = c(65, 68, 66, 70, 64))

# 데이터 변환
data <- stack(ads)

# 분산분석 수행
result <- aov(values ~ ind, data = data)
summary(result)

# Python code 
import scipy.stats as stats
import numpy as np

# 문제 1
# 데이터 생성
group_A = [85, 90, 88, 92, 86]
group_B = [78, 82, 85, 80, 79]
group_C = [90, 88, 91, 92, 89]

# 일원분산분석 수행
F, p_value = stats.f_oneway(group_A, group_B, group_C)

# 결과 출력
print(f"F-statistic: {F:.3f}, p-value: {p_value:.5f}")

# 문제 2
# 데이터 생성
group_X = [15, 18, 16, 20, 19]
group_Y = [22, 24, 23, 25, 26]
group_Z = [12, 14, 13, 11, 15]

# 일원분산분석 수행
F, p_value = stats.f_oneway(group_X, group_Y, group_Z)

# 결과 출력
print(f"F-statistic: {F:.3f}, p-value: {p_value:.5f}")

# 문제 3
import scipy.stats as stats
import numpy as np

# 데이터 생성
group_A = [55, 60, 58, 62, 57]
group_B = [48, 50, 52, 47, 49]
group_C = [65, 68, 66, 70, 64]

# 일원분산분석 수행
F, p_value = stats.f_oneway(group_A, group_B, group_C)

# 결과 출력
print(f"F-statistic: {F:.3f}, p-value: {p_value:.5f}")