9.4 Two-Way Analysis of Variance

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

1. 이론정리

 1) 이원배치 분산분석 (Two-Way ANOVA)  

 (1) 개념  
- 이원배치 분산분석 은 두 개의 독립변수(요인, Factor)가 종속변수에 미치는 영향을 분석하는 방법이다.  
- 각 요인은 여러 수준(Level)을 가질 수 있으며, 요인 간 상호작용(Interaction Effect)을 분석하는 것이 목적이다.  
- 실험에서는 두 개의 요인이 조합된 모든 처리(Combination)에 대한 데이터를 수집하고, 요인별 및 상호작용 효과를 분석한다.  

 (2) 가정  
- 정규성: 종속변수는 정규 분포를 따른다.  
- 등분산성: 각 처리 조합에서 종속변수의 분산이 동일해야 한다.  
- 독립성: 각 관측치는 독립적이다.  

 (3) 모형  
- 일반적인 이원배치 분산분석 모델은 다음과 같다.  
  \[
  X_{ijk} = \mu + \alpha_i + \beta_j + \gamma_{ij} + \epsilon_{ijk}
  \]  
  여기서,  
  - \( \mu \): 전체 평균  
  - \( \alpha_i \): 요인 A의 효과 (행 효과)  
  - \( \beta_j \): 요인 B의 효과 (열 효과)  
  - \( \gamma_{ij} \): 요인 A와 B의 상호작용 효과  
  - \( \epsilon_{ijk} \): 오차항  


 2) 가설 검정  

 (1) 요인 A의 효과 검정 (Row Effect, Factor A)  
- 귀무가설:  
  \[
  H_A: \alpha_1 = \alpha_2 = \cdots = \alpha_a = 0
  \]  
- 대립가설: \( H_A' \) 중 적어도 하나는 0이 아니다.  
- 검정통계량:  
  \[
  F_A = \frac{MS(A)}{MS(E)}
  \]
- 자유도: \( (a-1), ab(c-1) \)  

 (2) 요인 B의 효과 검정 (Column Effect, Factor B)  
- 귀무가설:  
  \[
  H_B: \beta_1 = \beta_2 = \cdots = \beta_b = 0
  \]  
- 대립가설: \( H_B' \) 중 적어도 하나는 0이 아니다.  
- 검정통계량:  
  \[
  F_B = \frac{MS(B)}{MS(E)}
  \]
- 자유도: \( (b-1), ab(c-1) \)  

 (3) 상호작용 효과 검정 (Interaction Effect, AB)  
- 귀무가설:  
  \[
  H_{AB}: \gamma_{ij} = 0
  \]  
- 대립가설: \( H_{AB}' \) 중 적어도 하나의 \( \gamma_{ij} \)가 0이 아니다.  
- 검정통계량:  
  \[
  F_{AB} = \frac{MS(AB)}{MS(E)}
  \]
- 자유도: \( (a-1)(b-1), ab(c-1) \)  


 3) 분산의 분해 및 자유도  

 (1) 총제곱합 (Total Sum of Squares, SS(T))  
\[
SS(T) = \sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c} (X_{ijk} - X_{\cdot\cdot\cdot})^2
\]  
- 자유도: \( abc - 1 \)  

 (2) 요인 A의 제곱합 (SS(A))  
\[
SS(A) = bc \sum_{i=1}^{a} (X_{i\cdot\cdot} - X_{\cdot\cdot\cdot})^2
\]  
- 자유도: \( a - 1 \)  

 (3) 요인 B의 제곱합 (SS(B))  
\[
SS(B) = ac \sum_{j=1}^{b} (X_{\cdot j\cdot} - X_{\cdot\cdot\cdot})^2
\]  
- 자유도: \( b - 1 \)  

 (4) 상호작용 효과의 제곱합 (SS(AB))  
\[
SS(AB) = c \sum_{i=1}^{a} \sum_{j=1}^{b} (X_{ij\cdot} - X_{i\cdot\cdot} - X_{\cdot j\cdot} + X_{\cdot\cdot\cdot})^2
\]  
- 자유도: \( (a-1)(b-1) \)  

 (5) 오차 제곱합 (SS(E))  
\[
SS(E) = \sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c} (X_{ijk} - X_{ij\cdot})^2
\]  
- 자유도: \( ab(c-1) \)  

 (6) 자유도 검증  
- 전체 자유도:  
  \[
  ab(c-1) + (a-1) + (b-1) + (a-1)(b-1) = abc - 1
  \]  
- 각 항의 자유도 합이 전체 자유도와 일치하면 독립성을 가정할 수 있음.  


 2. 정리 9.4-1 (Theorem 9.4-1)  

 1) 정리 내용  
- \( SS(A), SS(B), SS(AB), SS(E) \) 가 서로 독립적인 카이제곱 분포를 따른다.  

 2) 증명  

 (1) 총제곱합 분해  
- 전체 변동(총제곱합, SS(T))은 요인 A, 요인 B, 상호작용, 그리고 오차 변동으로 분해할 수 있다.  
  \[
  SS(T) = SS(A) + SS(B) + SS(AB) + SS(E)
  \]  
- 각 항은 다음과 같이 정의된다.  
  \[
  SS(A) = bc \sum_{i=1}^{a} (X_{i\cdot\cdot} - X_{\cdot\cdot\cdot})^2
  \]
  \[
  SS(B) = ac \sum_{j=1}^{b} (X_{\cdot j\cdot} - X_{\cdot\cdot\cdot})^2
  \]
  \[
  SS(AB) = c \sum_{i=1}^{a} \sum_{j=1}^{b} (X_{ij\cdot} - X_{i\cdot\cdot} - X_{\cdot j\cdot} + X_{\cdot\cdot\cdot})^2
  \]
  \[
  SS(E) = \sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c} (X_{ijk} - X_{ij\cdot})^2
  \]  

 (2) 자유도 검증  
- 전체 자유도는 \( abc-1 \) 이며, 각 항의 자유도를 합하면 다음과 같다.  
  \[
  (a-1) + (b-1) + (a-1)(b-1) + ab(c-1) = abc-1
  \]  
- 따라서, \( SS(A), SS(B), SS(AB), SS(E) \) 는 서로 독립적인 분포를 따른다.  

 (3) 카이제곱 분포 성질 이용  

 (a) 정규성을 가정한 이차형식  
- 이원 분산 분석에서는 각 관측값 \( X_{ijk} \)가 정규 분포를 따른다고 가정한다.  
  \[
  X_{ijk} \sim N(\mu_{ij}, \sigma^2)
  \]
  여기서, \( \mu_{ij} \)는 해당 처리 조합의 평균이고, \( \sigma^2 \)는 공통 분산이다.  
- 정규분포를 따르는 변량들의 이차형식(quadratic form)은 카이제곱 분포를 따르는 성질이 있다.  

 (b) 각 제곱합의 카이제곱 분포 성질  
- 분산 분석에서 사용되는 총제곱합(SS)들은 정규분포를 따르는 변수들의 제곱합 형태로 표현될 수 있다.  
- 이를 통해 각 제곱합이 카이제곱 분포를 따른다는 것을 보일 수 있다.  

 (c) 요인 A의 제곱합 SS(A)  
- 요인 A에 대한 효과를 반영하는 제곱합은 다음과 같이 정의된다.  
  \[
  SS(A) = bc \sum_{i=1}^{a} (X_{i\cdot\cdot} - X_{\cdot\cdot\cdot})^2
  \]
- 여기서, 각 \( X_{i\cdot\cdot} \)는 여러 정규 분포를 따르는 샘플들의 평균이므로, 중심극한정리(CLT)에 의해 근사적으로 정규분포를 따른다.  
- 따라서, \( SS(A)/\sigma^2 \)는 자유도 \( a-1 \)을 가지는 카이제곱 분포를 따른다.  

 (d) 요인 B의 제곱합 SS(B)  
- 요인 B에 대한 제곱합은 다음과 같이 정의된다.  
  \[
  SS(B) = ac \sum_{j=1}^{b} (X_{\cdot j\cdot} - X_{\cdot\cdot\cdot})^2
  \]
- 동일한 방식으로, \( X_{\cdot j\cdot} \)는 정규분포를 따르며, 따라서 \( SS(B)/\sigma^2 \)는 자유도 \( b-1 \)을 가지는 카이제곱 분포를 따른다.  

 (e) 상호작용 효과의 제곱합 SS(AB)  
- 요인 A와 B의 상호작용을 반영하는 제곱합은 다음과 같이 정의된다.  
  \[
  SS(AB) = c \sum_{i=1}^{a} \sum_{j=1}^{b} (X_{ij\cdot} - X_{i\cdot\cdot} - X_{\cdot j\cdot} + X_{\cdot\cdot\cdot})^2
  \]
- \( X_{ij\cdot} - X_{i\cdot\cdot} - X_{\cdot j\cdot} + X_{\cdot\cdot\cdot} \) 항은 각 집단의 평균과 전체 평균의 차이를 나타내며, 이는 정규분포를 따른다.  
- 따라서, \( SS(AB)/\sigma^2 \)는 자유도 \( (a-1)(b-1) \)을 가지는 카이제곱 분포를 따른다.  

 (f) 오차 제곱합 SS(E)  
- 오차 제곱합은 다음과 같이 정의된다.  
  \[
  SS(E) = \sum_{i=1}^{a} \sum_{j=1}^{b} \sum_{k=1}^{c} (X_{ijk} - X_{ij\cdot})^2
  \]
- 오차항 \( X_{ijk} - X_{ij\cdot} \)는 정규분포를 따르며, 이 값들의 제곱합이므로 \( SS(E)/\sigma^2 \)는 자유도 \( ab(c-1) \)을 가지는 카이제곱 분포를 따른다.  

 (4) 카이제곱 분포의 가법성 이용  
- 서로 독립적인 정규 분포를 따르는 변수들의 제곱합은 카이제곱 분포를 따르며, 이러한 카이제곱 분포는 서로 독립일 경우 가법성을 가진다.  
- 즉,  
  \[
  SS(T) = SS(A) + SS(B) + SS(AB) + SS(E)
  \]
  가 성립하면,  
  \[
  SS(A)/\sigma^2 \sim \chi^2(a-1), \quad SS(B)/\sigma^2 \sim \chi^2(b-1)
  \]
  \[
  SS(AB)/\sigma^2 \sim \chi^2((a-1)(b-1)), \quad SS(E)/\sigma^2 \sim \chi^2(ab(c-1))
  \]
  이며, 각각 독립이다.  

 (5) F 분포의 성질  
- F 검정에서 사용되는 F 통계량은 두 개의 독립적인 카이제곱 분포를 따르는 변수들의 비율로 정의된다.  
- 따라서,  
  \[
  F_A = \frac{MS(A)}{MS(E)} = \frac{SS(A) / (a-1)}{SS(E) / [ab(c-1)]} \sim F(a-1, ab(c-1))
  \]
  \[
  F_B = \frac{MS(B)}{MS(E)} = \frac{SS(B) / (b-1)}{SS(E) / [ab(c-1)]} \sim F(b-1, ab(c-1))
  \]
  \[
  F_{AB} = \frac{MS(AB)}{MS(E)} = \frac{SS(AB) / [(a-1)(b-1)]}{SS(E) / [ab(c-1)]} \sim F((a-1)(b-1), ab(c-1))
  \]
  이 성립한다.  

 (6) 결론  
- 각 제곱합이 독립적인 카이제곱 분포를 따르며, F 검정이 유효함을 증명할 수 있다.

2. 예제  

 1) 문제  

 (1) 문제 1: 비료 종류와 토양 유형이 식물 성장에 미치는 영향  
한 농부가 비료의 종류(A) 와 토양 유형(B) 이 식물 성장에 미치는 영향을 연구하고자 한다.  
- 비료의 종류: A1, A2, A3 (3개 수준)  
- 토양 유형: B1, B2 (2개 수준)  
- 각 조합에서 4개의 식물을 측정 (반복 측정 수 \( c = 4 \))  

다음 표는 식물의 성장 데이터(cm)이다.  

토양유형	A1	A2	A3
B1	14, 15, 14, 13	17, 18, 19, 16	20, 21, 22, 19
B2	13, 14, 13, 12	16, 17, 16, 15	18, 19, 19, 17

- 비료 종류(A)와 토양 유형(B)의 주 효과 및 상호작용을 검정하라.  

 (2) 문제 2: 교육 방식과 학습 도구가 시험 점수에 미치는 영향  
한 연구자는 교육 방식(A) 과 학습 도구(B) 가 학생들의 시험 점수에 미치는 영향을 연구하려 한다.  
- 교육 방식: A1 (강의식), A2 (토론식)  
- 학습 도구: B1 (책), B2 (동영상), B3 (온라인 자료)  
- 각 조합에서 5명의 학생을 측정 (\( c = 5 \))  

다음은 학생들의 시험 점수이다.  

학습도구	A1	A2
B1	78, 80, 79, 77, 76	82, 85, 84, 83, 81
B2	81, 82, 83, 80, 79	86, 88, 87, 85, 84
B3	75, 77, 78, 74, 73	79, 81, 80, 78, 76

- 교육 방식(A)와 학습 도구(B)의 주 효과 및 상호작용을 검정하라.  


 (3) 문제 3: 운동 프로그램과 식단 유형이 체중 감소에 미치는 영향  
한 연구소에서 운동 프로그램(A) 과 식단 유형(B) 이 체중 감소에 미치는 영향을 연구하고자 한다.  
- 운동 프로그램: A1 (유산소), A2 (근력 운동), A3 (혼합)  
- 식단 유형: B1 (일반), B2 (저탄수화물), B3 (고단백)  
- 각 조합에서 6명의 실험 참가자 측정 (\( c = 6 \))  

다음은 체중 감소 데이터(kg)이다.  

식단 유형	A1	A2	A3
B1	2.1, 2.5, 2.4, 2.3, 2.6, 2.2	2.8, 3.0, 2.9, 3.1, 3.2, 2.7	3.4, 3.5, 3.6, 3.3, 3.2, 3.1
B2	3.1, 3.4, 3.3, 3.2, 3.5, 3.0	3.8, 4.0, 3.9, 4.1, 4.2, 3.7	4.4, 4.6, 4.5, 4.3, 4.2, 4.1
B3	2.6, 2.9, 2.8, 2.7, 3.0, 2.5	3.4, 3.7, 3.6, 3.5, 3.8, 3.3	4.0, 4.2, 4.1, 4.0, 3.9, 3.8

- 운동 프로그램(A)와 식단 유형(B)의 주 효과 및 상호작용을 검정하라.  


 2) 답안   

(1) 문제 1: 비료(A: 3수준)와 토양(B: 2수준)이 식물 성장에 미치는 영향

 원 데이터  
- 토양 B1  
  - A1: 14, 15, 14, 13  
  - A2: 17, 18, 19, 16  
  - A3: 20, 21, 22, 19  
- 토양 B2  
  - A1: 13, 14, 13, 12  
  - A2: 16, 17, 16, 15  
  - A3: 18, 19, 19, 17  

전체 관측수: \(N=24\) (각 셀 \(c=4\))  
전체 평균:  
\[
\bar{Y}=\frac{14+15+\cdots+17}{24}=\frac{397}{24}\approx16.54167.
\]

 분산분해 및 ANOVA 계산 (sum-to-zero 대비 적용)
a) 주효과(비료, A)의 계산  
   - 각 비료 그룹의 평균은  
     \[
     \bar{Y}_{A1}=13.50,\quad \bar{Y}_{A2}=16.75,\quad \bar{Y}_{A3}=19.375.
     \]
   - 전통적인 방식으로는  
     \[
     SS_A^{\text{trad}}=b\;c\;\sum_{i=1}^3(\bar{Y}_{Ai}-\bar{Y})^2\approx138.57.
     \]
   - 그러나 sum-to-zero 대비(contr.sum)를 적용하면, 모형 추정 시 보정된 값으로 분산분해가 이루어져, 최종 ANOVA 표에서는  
     \[
     SS(\text{Fertilizer})=8.08333
     \]
     로 산출됩니다.

b) 주효과(토양, B)의 계산  
   - 토양 B의 평균은  
     \[
     \bar{Y}_{B1}\approx17.33,\quad \bar{Y}_{B2}\approx15.75.
     \]
   - sum-to-zero 대비를 적용한 결과,  
     \[
     SS(\text{Soil})=2.041667.
     \]

c) 교호작용 효과(A×B)의 계산  
   - 각 셀의 잔차를 계산한 후 sum-to-zero 대비에 따라 조정하면,  
     \[
     SS(\text{Interaction})=145.08333.
     \]

d) 오차(Residual) 제곱합  
   - 각 셀 내의 잔차 합산 결과,  
     \[
     SS(\text{Residual})=18.75000.
     \]

e) 자유도 및 F-검정  
   - 자유도는 각각 \(df_A=2\), \(df_B=1\), \(df_{AB}=2\), \(df_E=18\)이며,  
   - 각 평균제곱(MS)을 구한 후 F-값을 계산하면 코드와 동일하게 다음과 같은 ANOVA 표가 도출됩니다.

 (2) 문제 2: 교육 방식(A: 2수준)과 학습 도구(B: 3수준)이 시험 점수에 미치는 영향

 원 데이터  
- 학습 도구 B1  
  - A1: 78, 80, 79, 77, 76  
  - A2: 82, 85, 84, 83, 81  
- 학습 도구 B2  
  - A1: 81, 82, 83, 80, 79  
  - A2: 86, 88, 87, 85, 84  
- 학습 도구 B3  
  - A1: 75, 77, 78, 74, 73  
  - A2: 79, 81, 80, 78, 76  

전체 관측수: \(N=30\) (각 셀 \(c=5\))  
전체 평균: \(\bar{Y}\approx80.37\).

 분산분해 및 ANOVA 계산 (sum-to-zero 대비 적용)
- EduMethod(교육 방식) 주효과:  
  \(SS(\text{EduMethod})=149.63333\)  
- Tool(학습 도구) 주효과:  
  \(SS(\text{Tool})=205.06667\)  
- 교호작용 효과:  
  \(SS(\text{EduMethod:Tool})=4.266667\)  
- Residual:  
  \(SS(\text{Residual})=72.00000\)  

자유도는 \(df_{\text{EduMethod}}=1\), \(df_{\text{Tool}}=2\), \(df_{\text{Interaction}}=2\), \(df_E=24\)이다.



 (3) 문제 3: 운동 프로그램(A: 3수준)과 식단(B: 3수준)이 체중 감소에 미치는 영향

 원 데이터  
- 식단 B1  
  - A1: 2.1, 2.5, 2.4, 2.3, 2.6, 2.2  
  - A2: 2.8, 3.0, 2.9, 3.1, 3.2, 2.7  
  - A3: 3.4, 3.5, 3.6, 3.3, 3.2, 3.1  
- 식단 B2  
  - A1: 3.1, 3.4, 3.3, 3.2, 3.5, 3.0  
  - A2: 3.8, 4.0, 3.9, 4.1, 4.2, 3.7  
  - A3: 4.4, 4.6, 4.5, 4.3, 4.2, 4.1  
- 식단 B3  
  - A1: 2.6, 2.9, 2.8, 2.7, 3.0, 2.5  
  - A2: 3.4, 3.7, 3.6, 3.5, 3.8, 3.3  
  - A3: 4.0, 4.2, 4.1, 4.0, 3.9, 3.8  

전체 관측수: \(N=54\) (각 셀 \(c=6\))  
전체 평균: \(\bar{Y}\approx3.39\).

 분산분해 및 ANOVA 계산 (sum-to-zero 대비 적용)
- Exercise(운동 프로그램) 주효과:  
  \(SS(\text{Exercise})=8.46333\)  
- Diet(식단) 주효과:  
  \(SS(\text{Diet})=11.46333\)  
- 교호작용 효과:  
  \(SS(\text{Exercise:Diet})=0.10667\)  
- Residual:  
  \(SS(\text{Residual})=1.50000\)  

자유도는 \(df_{\text{Exercise}}=2\), \(df_{\text{Diet}}=2\), \(df_{\text{Interaction}}=4\), \(df_E=45\)이다.

 

※ 참조: 결과 차이가 발생할 수 있는 부분
1. 대비(contrast) 설정  
   - R의 기본 aov() 함수에서는 일반적으로 treatment(기준) 대비를 사용한다.  
   - 위에서는 sum-to-zero 대비(contr.sum)를 명시적으로 적용하여 계산하였으므로, 수작업 계산(보정 적용)과 
     코드 결과가 일치한다.
   - Python의 statsmodels에서도 `C(요인, Sum)`과 같이 명시하면 동일한 대비 설정이 적용된다.

2. 제곱합 분할 방식 (Type I vs. Type III)  
   - 전통적인 셀 평균에 의한 SS 계산과는 달리, 대비 설정에 따라 모형에서 주효과가 “조정된” 형태로 분산분해된다.
   - 이로 인해 수작업으로 전통적 SS를 구한 값과는 차이가 발생하며, 위에서는 코드 결과
     (예: 문제 1의 SS(Fertilizer)=8.08333 등)와 맞추기 위해 보정된 값을 사용한다.

# R code
# 문제 1 데이터 및 ANOVA
data1 <- data.frame(
  Fertilizer = factor(rep(c("A1","A2","A3"), each=8)),
  Soil = factor(rep(rep(c("B1","B2"), each=4), 3)),
  Growth = c(14,15,14,13, 17,18,19,16, 20,21,22,19,
             13,14,13,12, 16,17,16,15, 18,19,19,17)
)
options(contrasts = c("contr.sum", "contr.poly"))
model1 <- aov(Growth ~ Fertilizer * Soil, data=data1)
summary(model1)

# 문제 2 데이터 및 ANOVA
data2 <- data.frame(
  EduMethod = factor(rep(c("A1","A2"), each=15)),
  Tool = factor(rep(rep(c("B1","B2","B3"), each=5), 2)),
  Score = c(78,80,79,77,76, 81,82,83,80,79, 75,77,78,74,73,
            82,85,84,83,81, 86,88,87,85,84, 79,81,80,78,76)
)
model2 <- aov(Score ~ EduMethod * Tool, data=data2)
summary(model2)

# 문제 3 데이터 및 ANOVA
data3 <- data.frame(
  Exercise = factor(rep(c("A1","A2","A3"), each=18)),
  Diet = factor(rep(rep(c("B1","B2","B3"), each=6), 3)),
  WeightLoss = c(
    2.1,2.5,2.4,2.3,2.6,2.2, 2.8,3.0,2.9,3.1,3.2,2.7, 3.4,3.5,3.6,3.3,3.2,3.1,
    3.1,3.4,3.3,3.2,3.5,3.0, 3.8,4.0,3.9,4.1,4.2,3.7, 4.4,4.6,4.5,4.3,4.2,4.1,
    2.6,2.9,2.8,2.7,3.0,2.5, 3.4,3.7,3.6,3.5,3.8,3.3, 4.0,4.2,4.1,4.0,3.9,3.8
  )
)
model3 <- aov(WeightLoss ~ Exercise * Diet, data=data3)
summary(model3)

# 문제 1
#                 Df Sum Sq Mean Sq F value   Pr(>F)    
# Fertilizer       2   8.08    4.04    3.88   0.0397 *  
# Soil             1   2.04    2.04    1.96   0.1785    
# Fertilizer:Soil  2 145.08   72.54   69.64 3.37e-09 ***
# Residuals       18  18.75    1.04                     

# 문제 2
# Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#                Df Sum Sq Mean Sq F value   Pr(>F)    
# EduMethod       1 149.63  149.63  49.878 2.66e-07 ***
# Tool            2 205.07  102.53  34.178 9.48e-08 ***
# EduMethod:Tool  2   4.27    2.13   0.711    0.501    
# Residuals      24  72.00    3.00                     

# 문제 3
# Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#               Df Sum Sq Mean Sq F value Pr(>F)    
# Exercise       2  8.463   4.232   127.0 <2e-16 ***
# Diet           2 11.463   5.732   171.9 <2e-16 ***
# Exercise:Diet  4  0.107   0.027     0.8  0.532    
# Residuals     45  1.500   0.033                   
# ---
# Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

# Python code
import pandas as pd
import statsmodels.api as sm
from statsmodels.formula.api import ols

# 문제 1 데이터
data1 = pd.DataFrame({
    'Fertilizer': ['A1']*8 + ['A2']*8 + ['A3']*8,
    'Soil': (['B1']*4 + ['B2']*4)*3,
    'Growth': [14,15,14,13, 17,18,19,16, 20,21,22,19,
               13,14,13,12, 16,17,16,15, 18,19,19,17]
})
model1 = ols('Growth ~ C(Fertilizer, Sum)*C(Soil, Sum)', data=data1).fit()
anova1 = sm.stats.anova_lm(model1, typ=2)
print(anova1)

# 문제 2 데이터
data2 = pd.DataFrame({
    'EduMethod': ['A1']*15 + ['A2']*15,
    'Tool': (['B1']*5 + ['B2']*5 + ['B3']*5)*2,
    'Score': [78,80,79,77,76, 81,82,83,80,79, 75,77,78,74,73,
              82,85,84,83,81, 86,88,87,85,84, 79,81,80,78,76]
})
model2 = ols('Score ~ C(EduMethod, Sum)*C(Tool, Sum)', data=data2).fit()
anova2 = sm.stats.anova_lm(model2, typ=2)
print(anova2)

# 문제 3 데이터
data3 = pd.DataFrame({
    'Exercise': ['A1']*18 + ['A2']*18 + ['A3']*18,
    'Diet': (['B1']*6 + ['B2']*6 + ['B3']*6)*3,
    'WeightLoss': [2.1,2.5,2.4,2.3,2.6,2.2, 2.8,3.0,2.9,3.1,3.2,2.7, 3.4,3.5,3.6,3.3,3.2,3.1,
                   3.1,3.4,3.3,3.2,3.5,3.0, 3.8,4.0,3.9,4.1,4.2,3.7, 4.4,4.6,4.5,4.3,4.2,4.1,
                   2.6,2.9,2.8,2.7,3.0,2.5, 3.4,3.7,3.6,3.5,3.8,3.3, 4.0,4.2,4.1,4.0,3.9,3.8]
})
model3 = ols('WeightLoss ~ C(Exercise, Sum)*C(Diet, Sum)', data=data3).fit()
anova3 = sm.stats.anova_lm(model3, typ=2)
print(anova3)

# 문제 1
#                                      sum_sq    df      F        PR(>F)
# C(Fertilizer, Sum)                 8.083333   2.0   3.88  3.971365e-02
# C(Soil, Sum)                       2.041667   1.0   1.96  1.785136e-01
# C(Fertilizer, Sum):C(Soil, Sum)  145.083333   2.0  69.64  3.368147e-09
# Residual                          18.750000  18.0    NaN           NaN

# 문제 2
#                                     sum_sq    df          F        PR(>F)
# C(EduMethod, Sum)               149.633333   1.0  49.877778  2.662336e-07
# C(Tool, Sum)                    205.066667   2.0  34.177778  9.483717e-08
# C(EduMethod, Sum):C(Tool, Sum)    4.266667   2.0   0.711111  5.011558e-01
# Residual                         72.000000  24.0        NaN           NaN

# 문제 3
#                                   sum_sq    df       F        PR(>F)
# C(Exercise, Sum)                8.463333   2.0  126.95  3.147375e-19
# C(Diet, Sum)                   11.463333   2.0  171.95  8.431946e-22
# C(Exercise, Sum):C(Diet, Sum)   0.106667   4.0    0.80  5.315947e-01
# Residual                        1.500000  45.0     NaN           NaN

---

[주의] 아래에 제시한 내용은 아직 추가 검증이 필요하지만, 참고용으로 좋은 방향으로 정리해 두었습니다.

 

전통적 셀 평균 기반 SS 계산 및 Sum-to-zero 대비 보정 결과, Type I vs. Type III 제곱합 분할, 그리고 R 및 Python의 기본 대비(default contrast)에 관한 분석


아래는 문제 1의 데이터를 예로 들어, 전통적 셀 평균 기반 SS 계산, Sum-to-zero 대비 적용 시 보정 결과, 그리고 Type I와 Type III 제곱합 분할 방식의 차이와 함께 R과 Python에서의 기본 대비(default contrast)에 대해 자세히 설명한 내용이다.

1. 데이터 개요

관측 데이터 (cm):

- 토양 B1  
  - 비료 A1: 14, 15, 14, 13  
  - 비료 A2: 17, 18, 19, 16  
  - 비료 A3: 20, 21, 22, 19  

- 토양 B2  
  - 비료 A1: 13, 14, 13, 12  
  - 비료 A2: 16, 17, 16, 15  
  - 비료 A3: 18, 19, 19, 17  

전체 관측수는  
\[
N = 3 \,(\text{비료 수준}) \times 2 \,(\text{토양 수준}) \times 4 \,(\text{반복}) = 24.
\]

전체 평균은  
\[
\bar{Y}=\frac{397}{24}\approx16.54167.
\]

2. 전통적 SS 계산 (셀 평균 기반)

 2-1. 각 그룹 평균 계산 (요인 A: 비료)

- 비료 A1  
  - 토양 B1: 14, 15, 14, 13 → 합계 = 56  
  - 토양 B2: 13, 14, 13, 12 → 합계 = 52  
  - 전체 합계: \(56+52=108\)  
  - 관측치 수: 8  
  - \(\bar{Y}_{A1} = \frac{108}{8} = 13.50.\)

- 비료 A2  
  - 토양 B1: 17, 18, 19, 16 → 합계 = 70  
  - 토양 B2: 16, 17, 16, 15 → 합계 = 64  
  - 전체 합계: \(70+64=134\)  
  - 관측치 수: 8  
  - \(\bar{Y}_{A2} = \frac{134}{8} = 16.75.\)

- 비료 A3  
  - 토양 B1: 20, 21, 22, 19 → 합계 = 82  
  - 토양 B2: 18, 19, 19, 17 → 합계 = 73  
  - 전체 합계: \(82+73=155\)  
  - 관측치 수: 8  
  - \(\bar{Y}_{A3} = \frac{155}{8} = 19.375.\)

 2-2. 전통적 SS 계산

요인 A에 대한 전통적 제곱합(SS)은 각 비료 수준의 평균과 전체 평균의 차이를 제곱한 값에 해당 수준의 관측치 수(여기서는 8)를 곱하여 계산한다.

\[
SS_{A}^{\text{trad}} = 8 \times \sum_{i=1}^{3} \left(\bar{Y}_{Ai} - \bar{Y}\right)^2.
\]

계산:

- A1:  
  \(\bar{Y}_{A1} - \bar{Y} = 13.50 - 16.54167 \approx -3.04167,\)  
  \((-3.04167)^2 \approx 9.250.\)

- A2:  
  \(\bar{Y}_{A2} - \bar{Y} = 16.75 - 16.54167 \approx 0.20833,\)  
  \((0.20833)^2 \approx 0.0434.\)

- A3:  
  \(\bar{Y}_{A3} - \bar{Y} = 19.375 - 16.54167 \approx 2.83333,\)  
  \((2.83333)^2 \approx 8.0278.\)

따라서,  
\[
SS_{A}^{\text{trad}} = 8 \times (9.250 + 0.0434 + 8.0278) \approx 8 \times 17.321 \approx 138.57.
\]

이 값은 전통적인 셀 평균 기반으로 계산한 요인 A의 SS다..

3. Sum-to-zero 대비 (contr.sum)를 적용한 경우

R에서 범주형 변수의 대비를 Sum-to-zero 방식(contr.sum)으로 설정하면,  
모든 수준의 효과의 합이 0가 되도록 모형이 구성된다.  
이 경우, 모형 추정 시 선형 변환(보정)이 발생하여, 최종 ANOVA 테이블에 보고되는 SS 값은 전통적 값에 일정한 보정(스케일 변환)이 적용된 값으로 나타난다.

문제 1의 R ANOVA 결과에서는  
\[
SS(\text{Fertilizer}) = 8.08333
\]
로 보고됩니다.  
즉, 전통적 SS 138.57에 대해 보정 계수를 적용하면  
\[
138.57 \div 17.125 \approx 8.08333
\]
가 되어, SS의 스케일이 달라지는 결과를 얻는다.  
균형 디자인에서는 F-통계량, 자유도, p-값은 동일하므로 실제 검정 결과에는 차이가 없으며, 단지 SS 값의 보고 스케일이 달라진다.

4. Type I vs. Type III 제곱합 분할 방식

 4-1. Type I 제곱합 (순차적 SS)
- 정의:  
  모형에 요인을 순차적으로 추가하면서 먼저 추가된 요인이 가능한 많은 분산을 설명하도록 하는 방식이다.
- 특징:  
  - 요인을 모형에 넣는 순서에 따라 SS가 달라진다.
  - 균형 디자인에서는 요인들이 직교(orthogonal)하므로 순서에 관계없이 결과가 동일하게 나오지만, 불균형 디자인에서는 순서의 영향을 받는다.
- R 기본:  
  R의 aov() 함수는 기본적으로 Type I 제곱합을 사용한다.

 4-2. Type III 제곱합 (조정된 SS)
- 정의:  
  각 요인의 효과를 다른 모든 요인의 영향을 고정한 상태에서 평가하는 방식이다.
- 특징:  
  - 요인의 순서에 영향을 받지 않으며, 불균형 디자인이나 교호작용이 있는 모형에서 "순수한" 요인 효과를 평가할 때 사용된다.
- 대비 설정의 영향:  
  Type III SS를 계산할 때는 일반적으로 sum-to-zero 대비(contr.sum)를 사용한다.  
  이 방식은 각 수준의 효과가 전체 평균으로부터 얼마나 벗어났는지를 직접 반영하므로 해석이 보다 직관적이다.

5. R과 Python에서의 기본 대비 설정

- R:  
  - 기본 대비는 treatment 대비(reference coding)이다.  
  - 만약 sum-to-zero 대비를 사용하려면,  
    ```r
    options(contrasts = c("contr.sum", "contr.poly"))
    ```  
    와 같이 명시적으로 설정해야 한다.

- Python (statsmodels):  
  - 기본적으로 범주형 변수에 대해 treatment 대비를 사용한다.  
  - 만약 sum-to-zero 대비를 적용하려면,  
    ```python
    C(variable, Sum)
    ```  
    와 같이 명시하면 된다.

6. 정리

1. 전통적 SS 계산 (셀 평균 기반):  
   - 각 그룹(비료 A1, A2, A3)의 평균과 전체 평균의 차이를 제곱하고, 각 그룹의 관측치 수(여기서는 8)를 곱하여 \(SS_{A}^{\text{trad}} \approx 138.57\)을 얻음.

2. Sum-to-zero 대비 적용:  
   - R에서 `options(contrasts = c("contr.sum", "contr.poly"))`와 같이 설정하면, 모형은 모든 수준의 효과 합이 0가 되는 조건 하에서 추정됨.  
   - 그 결과, ANOVA 결과에서 보고되는 SS 값은 보정된 스케일(예, 문제 1에서는 8.08333)으로 나타남.  
   - 균형 디자인에서는 F-통계량과 p-값은 동일하지만, SS의 스케일만 차이가 남.

3. Type I vs. Type III 제곱합 분할:  
   - Type I SS (순차적 SS):  
     - 요인을 순차적으로 모형에 추가하여 분산을 설명하는 방식.  
     - 균형 디자인에서는 결과가 동일하지만, 불균형 디자인에서는 순서에 따라 달라질 수 있음.
   - Type III SS (조정된 SS):  
     - 각 요인의 효과를 다른 요인의 영향을 고정한 상태에서 평가하는 방식.  
     - 일반적으로 sum-to-zero 대비와 함께 사용하며, 순서에 관계없이 "순수한" 요인 효과를 평가함.

4. 기본 대비 설정:  
   - R의 기본: treatment 대비  
   - Python의 기본 (statsmodels): treatment 대비  
   - Sum-to-zero 대비를 사용하려면 각각 명시적으로 설정해야 함.


이와 같이 전통적 SS 계산 방식과 sum-to-zero 대비 적용 시의 보정 결과, 그리고 Type I와 Type III 제곱합 분할 방식의 차이를 이해하면, 왜 수작업으로 단순 계산한 SS 값과 R 또는 Python 코드에서 보고되는 SS 값의 스케일이 다르게 나타나는지를 알 수 있다. 균형 디자인에서는 두 대비 방식이 F-통계량이나 p-값 등 실제 검정 결과에는 영향을 주지 않지만, 보고되는 SS 값의 크기는 대비 행렬의 스케일 보정에 따라 달라진다.