6.7 Sufficient Statistics

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

이론 정리

1. 정의 (Definition)

1) 충분 통계량(Sufficient Statistic)이란, 모집단의 모수(parameter) \(\theta\)에 대한 정보를 완전히 포함하는 통계량 \( Y = u(X_1, X_2, ..., X_n) \).
2) 충분 통계량을 사용하면 표본 데이터에서 불필요한 정보를 제거하면서도 모수에 대한 충분한 정보를 유지할 수 있음.
3) 예를 들어, 모집단이 정규 분포 \( N(\mu, \sigma^2) \)를 따른다고 할 때, 개별 데이터 \( X_1, X_2, ..., X_n \)을 전부 아는 것이 아니라 표본 평균 \( \bar{X} \)과 표본 분산 \( S^2 \)만 알아도 모수 \(\mu, \sigma^2\)에 대한 모든 정보를 포함하고 있음.
4) 즉, 충분 통계량을 사용하면 데이터를 줄이면서도 동일한 정보를 제공할 수 있음.

2. Fisher-Neyman 인자분해 정리 (Factorization Theorem)

1) 확률 변수 \( X_1, X_2, ..., X_n \)의 결합 확률밀도함수(pdf) 또는 확률질량함수(pmf)가
   \[
   f(x_1, ..., x_n; \theta) = \phi(u(x_1, ..., x_n); \theta) h(x_1, ..., x_n)
   \]
   의 형태로 분해될 수 있다면, \( Y = u(X_1, ..., X_n) \)은 모수 \(\theta\)에 대한 충분 통계량임.
2) 여기서,
   - \( \phi(u(x_1, ..., x_n); \theta) \)는 \(\theta\)에 의존하는 함수.
   - \( h(x_1, ..., x_n) \)는 \(\theta\)와 무관한 함수.
3) 인자분해 정리를 통해 특정한 함수 형태를 가지는 통계량이 충분한지를 검증할 수 있음.

3. 충분 통계량의 예제 (Examples)

1) 포아송 분포 (Poisson Distribution)
- 가정: \( X_1, X_2, ..., X_n \)이 포아송 분포 \( Poisson(\lambda) \)을 따른다고 가정.
- 확률질량함수(PMF):
  \[
  f(x_i; \lambda) = \frac{\lambda^{x_i} e^{-\lambda}}{x_i!}, \quad x_i = 0, 1, 2, \dots
  \]
- 결합 확률질량함수:
  \[
  f(x_1, ..., x_n; \lambda) = \prod_{i=1}^{n} \frac{\lambda^{x_i} e^{-\lambda}}{x_i!}
  \]
  \[
  = \frac{\lambda^{\sum x_i} e^{-n\lambda}}{\prod x_i!}
  \]
- 인자분해 정리 적용:  
  \[
  f(x_1, ..., x_n; \lambda) = \left( \lambda^{\sum x_i} e^{-n\lambda} \right) \times \left( \frac{1}{\prod x_i!} \right)
  \]
  여기서 첫 번째 항만 \(\lambda\)에 의존하므로 \( Y = \sum X_i \)가 충분 통계량임.

- \( e^{-n\lambda} \)가 충분 통계량이 아닌 이유:
  - \( e^{-n\lambda} \)는 \(\lambda\)를 포함하지만, 관측 데이터인 \( x_i \)들과 관련된 정보가 없음.
  - 즉, 실제 표본에서 얻은 데이터를 요약하는 기능을 하지 않음.
  - 반면, \( \sum X_i \)는 모든 \( X_i \)값을 합한 것이므로 표본에 대한 정보를 포함하고 있음.

2) 정규 분포 (Normal Distribution)

(1) 정규 분포의 결합 확률밀도함수 (Joint PDF)

- 모집단이 정규 분포 \( N(\mu, \sigma^2) \)을 따르는 표본 \( X_1, X_2, ..., X_n \)을 고려하자.
- 각 표본 \( X_i \)의 확률밀도함수(PDF)는 다음과 같다.

\[
f(x_i; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x_i - \mu)^2}{2\sigma^2} \right)
\]

- 표본이 독립적이므로, 결합 확률밀도함수(joint PDF)는 각 개별 확률밀도함수의 곱으로 표현된다.

\[
f(x_1, x_2, ..., x_n; \mu, \sigma^2) = \prod_{i=1}^{n} f(x_i; \mu, \sigma^2)
\]

\[
= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp \left( -\sum_{i=1}^{n} \frac{(x_i - \mu)^2}{2\sigma^2} \right)
\]

이제 결합 확률밀도함수를 인자분해 정리를 이용하여 충분 통계량을 찾겠다.

(2) 인자분해 정리 (Factorization Theorem) 적용
인자분해 정리는 충분 통계량을 찾을 때 사용되는 중요한 정리로, 확률밀도함수 \( f(x_1, ..., x_n; \theta) \)가 다음과 같이 분해될 수 있으면 \( Y = u(X_1, ..., X_n) \)가 충분 통계량임을 보장한다.

\[
f(x_1, ..., x_n; \theta) = \phi(u(x_1, ..., x_n); \theta) h(x_1, ..., x_n)
\]

이제 정규 분포의 결합 확률밀도함수를 다음과 같이 변형하자.

\[
f(x_1, ..., x_n; \mu, \sigma^2) = \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp \left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2 \right)
\]

위 식에서 지수 부분을 정리하면,

\[
\sum_{i=1}^{n} (x_i - \mu)^2 = \sum_{i=1}^{n} (x_i - \bar{X} + \bar{X} - \mu)^2
\]

\[
= \sum_{i=1}^{n} (x_i - \bar{X})^2 + n (\bar{X} - \mu)^2
\]

따라서,

\[
f(x_1, ..., x_n; \mu, \sigma^2) = \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp \left( -\frac{1}{2\sigma^2} \left[ \sum_{i=1}^{n} (x_i - \bar{X})^2 + n (\bar{X} - \mu)^2 \right] \right)
\]

이제 이 식을 인자분해 정리의 형태로 변형하면,

\[
f(x_1, ..., x_n; \mu, \sigma^2) = \left[ \exp \left( -\frac{n}{2\sigma^2} (\bar{X} - \mu)^2 \right) \right] \times \left[ \exp \left( -\frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \bar{X})^2 \right) \right] \times C
\]

여기서,
- 첫 번째 항은 \(\mu\)와 관련된 함수.
- 두 번째 항은 표본의 변동성을 나타내는 함수.
- 세 번째 \( C \)는 \(\mu, \sigma^2\)에 영향을 받지 않는 상수.

이제 인자분해 정리를 적용하여 충분 통계량을 찾자.

(3) 충분 통계량 결정

- 인자분해 정리에 따르면, 모수 \(\mu, \sigma^2\)와 관련된 항에 포함된 통계량이 충분 통계량이 된다.
- 위에서 \(\mu\)에 대한 항을 보면, \(\bar{X} = \sum X_i / n\) 만 포함됨 → \(\bar{X}\)는 \(\mu\)에 대한 충분 통계량.
- 또한, \(\sigma^2\)에 대한 항을 보면, \(\sum (X_i - \bar{X})^2\)이 포함됨 → \(\sum X_i^2\)가 포함된 통계량이 \(\sigma^2\)에 대한 충분 통계량.

결론:
\[
T_1 = \sum X_i, \quad T_2 = \sum X_i^2
\]
는 \( (\mu, \sigma^2) \)에 대한 충분 통계량이다.

(4) 왜 \(\sum X_i\)와 \(\sum X_i^2\)가 충분 통계량인가?

1) \(\sum X_i\)가 충분 통계량인 이유:
   - 표본 평균 \(\bar{X}\)는 모수 \(\mu\)와 직접적인 관계가 있는 유일한 요약값이다.
   - 개별 \( X_i \)값을 모두 알 필요 없이 \(\sum X_i\)만 알면 \(\mu\)를 추정할 수 있다.

2) \(\sum X_i^2\)가 충분 통계량인 이유:
   - \(\sum X_i^2\)는 표본 분산과 밀접한 관련이 있으며, \(\sigma^2\)를 추정하는 데 필요하다.
   - \(\sum X_i\)만으로는 \(\sigma^2\)의 정보를 충분히 제공하지 못함. 따라서 \(\sum X_i^2\)도 포함되어야 한다.
   - 표본 분산을 계산하는 공식:
     \[
     S^2 = \frac{1}{n} \sum X_i^2 - \left( \frac{1}{n} \sum X_i \right)^2
     \]
     이므로, \(\sum X_i^2\)가 주어지면 \( \sigma^2 \)에 대한 충분한 정보를 얻을 수 있다.

(5) 충분 통계량을 활용한 실전 예제
예제: 평균과 분산 추정
- 모집단이 \( N(\mu, \sigma^2) \)를 따르는 경우, 우리는 \(\mu\)와 \(\sigma^2\)를 추정하고 싶다.
- 충분 통계량 \( T_1 = \sum X_i \), \( T_2 = \sum X_i^2 \)을 사용하여 MLE(최대우도추정량)를 구할 수 있다.

MLE 추정량:
\[
\hat{\mu} = \frac{T_1}{n} = \bar{X}, \quad \hat{\sigma}^2 = \frac{1}{n} \sum (X_i - \bar{X})^2
\]

이는 표본 평균과 표본 분산의 공식과 일치하며, 충분 통계량을 이용하면 불필요한 정보를 제거하면서도 정확한 추정을 할 수 있음을 의미한다.

(6) 결론
- 정규 분포의 경우, 표본 평균과 제곱합(sum of squares)이 충분 통계량임을 보였다.
- 인자분해 정리를 통해 결합 확률밀도함수를 분해하고, 모수와 직접적인 관계가 있는 부분을 찾아 충분 통계량을 결정할 수 있다.
- 이는 실제 통계적 추정에서 불필요한 정보를 제거하고, 보다 효과적인 모수 추정을 가능하게 한다.

3) 지수 분포 (Exponential Distribution)

(1) 지수 분포의 확률밀도함수 (PDF)

지수 분포 \( Exp(\theta) \)는 모수 \(\theta\)를 가지며, 각 확률변수 \( X_i \)의 확률밀도함수(PDF)는 다음과 같이 정의된다.

\[
f(x_i; \theta) = \frac{1}{\theta} e^{-x_i/\theta}, \quad x_i > 0
\]

즉, 지수 분포는 모수 \(\theta\)에 의해 스케일이 조정되는 분포로, 평균이 \(\theta\)이고, \( X_i \)의 값이 클수록 확률이 감소하는 특징을 가진다.

이제 표본 \( X_1, X_2, ..., X_n \)이 독립적으로 지수 분포를 따른다고 가정하고, 결합 확률밀도함수를 구하여 충분 통계량을 유도하겠다.

(2) 결합 확률밀도함수 (Joint PDF) 계산

표본 \( X_1, X_2, ..., X_n \)이 서로 독립이므로, 결합 확률밀도함수는 각 확률밀도함수의 곱으로 주어진다.

\[
f(x_1, ..., x_n; \theta) = \prod_{i=1}^{n} f(x_i; \theta)
\]

각 \( X_i \)에 대한 확률밀도함수를 대입하면,

\[
f(x_1, ..., x_n; \theta) = \prod_{i=1}^{n} \left( \frac{1}{\theta} e^{-x_i/\theta} \right)
\]

이를 곱셈 형태로 전개하면,

\[
= \theta^{-n} e^{-\sum x_i / \theta}
\]

(3) 인자분해 정리 (Factorization Theorem) 적용

인자분해 정리에 따르면, 확률밀도함수 \( f(x_1, ..., x_n; \theta) \)가 다음과 같이 분해될 수 있으면, \( Y = u(X_1, ..., X_n) \)은 \(\theta\)에 대한 충분 통계량이다.

\[
f(x_1, ..., x_n; \theta) = \phi(u(x_1, ..., x_n); \theta) h(x_1, ..., x_n)
\]

우리는 결합 확률밀도함수를 다음과 같이 표현할 수 있다.

\[
f(x_1, ..., x_n; \theta) = \underbrace{\theta^{-n} e^{-\sum x_i / \theta}}_{\text{모수 } \theta \text{에 의존하는 부분}} \times \underbrace{1}_{\text{모수 } \theta \text{와 무관한 부분}}
\]

여기서,
- 첫 번째 항 \( \theta^{-n} e^{-\sum x_i / \theta} \)는 \(\theta\)에 의존하는 부분이다.
- 두 번째 항은 \(\theta\)와 무관한 함수이다.

따라서, 모수 \(\theta\)와 직접적으로 관계가 있는 항이 포함된 통계량 \( \sum X_i \)는 충분 통계량이다.

\[
T = \sum X_i
\]

즉, \( Y = \sum X_i \)가 \(\theta\)에 대한 충분 통계량이다.

(4) 왜 \(\sum X_i\)가 충분 통계량인가?

ㄱ) 모수 \(\theta\)는 \( X_i \)의 평균과 관련됨
   - 지수 분포에서 \( X_i \)의 기댓값은 \( E[X_i] = \theta \)이다.
   - 따라서 표본의 합 \( \sum X_i \)를 사용하면 \(\theta\)를 효과적으로 추정할 수 있다.

ㄴ) 결합 확률밀도함수에서 \(\theta\)에 영향을 미치는 유일한 부분
   - 결합 확률밀도함수를 보면, \(\theta\)가 영향을 미치는 유일한 부분은 \( e^{-\sum X_i / \theta} \)이다.
   - 즉, \(\sum X_i\)만 알면 \(\theta\)를 결정하는 데 필요한 모든 정보를 유지할 수 있다.

ㄷ) 표본 개수 \( n \)에 관계없이 충분한 정보 제공
   - 표본 \( X_1, ..., X_n \)의 개수 \( n \)이 증가하더라도, \(\sum X_i\)만 유지하면 \(\theta\)를 추정하는 데 충분하다.

(5) 충분 통계량을 활용한 실전 예제
예제: 최대우도추정량 (MLE) 구하기
이제 충분 통계량 \( Y = \sum X_i \)를 사용하여 최대우도추정량(MLE)을 구해보자.

MLE는 우도 함수(Likelihood Function)를 최적화하여 모수를 추정하는 방법이다. 결합 확률밀도함수에서 우도 함수는 다음과 같이 정의된다.

\[
L(\theta) = f(x_1, ..., x_n; \theta) = \theta^{-n} e^{-\sum x_i / \theta}
\]

로그를 취하여 로그-우도함수를 만든다.

\[
\ell(\theta) = -n \log \theta - \frac{\sum X_i}{\theta}
\]

이제 \(\theta\)에 대해 미분하여 MLE를 구하자.

\[
\frac{d\ell}{d\theta} = -\frac{n}{\theta} + \frac{\sum X_i}{\theta^2} = 0
\]

정리하면,

\[
\hat{\theta} = \frac{\sum X_i}{n} = \bar{X}
\]

즉, 지수 분포에서 MLE 추정량은 표본 평균 \(\bar{X}\) 이다.

(6) 결론
- 지수 분포 \( Exp(\theta) \)에서 충분 통계량은 \( \sum X_i \)이다.
- 인자분해 정리를 이용하여 \( \sum X_i \)가 \(\theta\)에 대한 정보를 온전히 포함함을 증명하였다.
- MLE를 구한 결과, 지수 분포의 MLE는 표본 평균과 일치함을 확인하였다.

4. Rao-Blackwell 정리 (Rao-Blackwell Theorem)

1) 정의 (Definition)
Rao-Blackwell 정리는 불편 추정량(unbiased estimator)의 효율성을 개선하는 방법을 제시하는 정리이다. 즉, 분산을 줄이면서도 불편성을 유지하는 더 나은 추정량을 찾을 수 있도록 해주는 방법이다.

이 정리는 충분 통계량(sufficient statistic)을 활용하여, 동일한 기대값을 가지면서도 더 작은 분산을 갖는 최적의 불편 추정량(minimum variance unbiased estimator, MVUE)을 찾는 데 중요한 역할을 한다.

2) Rao-Blackwell 정리의 공식적 서술
만약 다음 조건이 성립한다면:

(1) \( Y_1 \)이 모수 \( \theta \)에 대한 충분 통계량이다.
(2) \( Y_2 \)가 \( \theta \)의 불편 추정량이지만, \( Y_1 \)의 함수가 아닐 수 있다.

이때, 새로운 추정량 \( u(Y_1) \)을 다음과 같이 정의할 수 있다:

\[
u(Y_1) = E[Y_2 | Y_1]
\]

즉, \( Y_2 \)의 \( Y_1 \)에 대한 조건부 기대값을 취한 함수 \( u(Y_1) \)를 새 추정량으로 삼을 수 있다.

이러한 새로운 추정량 \( u(Y_1) \)은:

(1) \( \theta \)의 불편 추정량을 유지한다.
(2) 원래 추정량 \( Y_2 \)보다 작은 분산을 가진다.

즉, Rao-Blackwell 정리에 따르면 충분 통계량을 활용하면 원래 추정량의 분산을 줄이는 최적의 추정량을 만들 수 있다.

3) Rao-Blackwell 정리의 직관적인 이해
예제: 동전 던지기 문제

1) 동전을 \( n \)번 던지고, 앞면이 나오는 횟수를 \( S \)라고 하자.
2) 앞면이 나올 확률을 \( \theta \)라고 할 때, \( S \sim Bin(n, \theta) \).
3) 우리가 모수 \( \theta \)를 추정하는 방법 중 하나로, 단순히 첫 번째 시행에서 앞면이 나왔는지를 확인하는 방법을 고려해보자:
   \[
   Y_2 = X_1
   \]
   즉, 첫 번째 시행 결과 \( X_1 \)을 이용해 \( \theta \)를 추정하는 것이다.
4) 하지만 이 방법은 표본 전체를 고려하지 않으므로 분산이 크다.
5) 이때 충분 통계량 \( S \)를 사용하여 Rao-Blackwell 정리를 적용하면:
   \[
   u(S) = E[Y_2 | S]
   \]
   이라는 새로운 추정량을 얻을 수 있다.
6) 이 새로운 추정량 \( u(S) \)은 여전히 \( \theta \)의 불편 추정량이면서도 \( X_1 \)을 직접 사용하는 것보다 작은 분산을 가진다.

4) Rao-Blackwell 정리의 수학적 증명
(1) \( Y_1 \)이 충분 통계량일 때, \( E[Y_2 | Y_1] \)이 불편 추정량임을 증명
ㄱ) 목표: \( u(Y_1) = E[Y_2 | Y_1] \)가 여전히 \( \theta \)의 불편 추정량임을 보이자.
ㄴ) 기대값을 취하면,
   \[
   E[u(Y_1)] = E[E[Y_2 | Y_1]]
   \]
   여기서 이중 기대값 공식(double expectation formula)을 이용하면,
   \[
   E[E[Y_2 | Y_1]] = E[Y_2]
   \]
   따라서 \( E[Y_2] = \theta \)이므로,
   \[
   E[u(Y_1)] = \theta
   \]
   즉, \( u(Y_1) \)도 여전히 \( \theta \)의 불편 추정량이다.

(2) \( u(Y_1) \)이 \( Y_2 \)보다 작은 분산을 가짐을 증명
ㄱ) 분산의 정의를 이용하여 증명  
   \[
   Var(Y_2) = E[Y_2^2] - (E[Y_2])^2
   \]
   \[
   Var(u(Y_1)) = E[E[Y_2 | Y_1]^2] - (E[Y_2])^2
   \]
ㄴ) 이때 조건부 기대값의 분산 감소 성질을 이용하면 항상
   \[
   Var(Y_2) \geq Var(u(Y_1))
   \]
   이 성립한다.

즉, \( u(Y_1) \)은 불편성을 유지하면서도 항상 \( Y_2 \)보다 작은 분산을 가진다.

5) Rao-Blackwell 정리의 실전 활용
이 정리는 최소 분산 불편 추정량(MVUE, Minimum Variance Unbiased Estimator)을 찾는 데 중요한 역할을 한다.

실제 적용 예제
1) 정규 분포에서 평균 추정
   - 모집단이 \( N(\mu, \sigma^2) \)를 따른다고 가정하고, \(\mu\)를 추정하는 두 개의 추정량을 비교해보자.
   - \( Y_2 = X_1 \) (첫 번째 표본만 사용)
   - \( Y_1 = \bar{X} = \frac{1}{n} \sum X_i \) (표본 평균)
   - \( E[X_1] = \mu \)이므로 \( X_1 \)도 불편 추정량이다.
   - 하지만 분산을 보면 \( Var(X_1) = \sigma^2 \), \( Var(\bar{X}) = \frac{\sigma^2}{n} \)이므로 \( \bar{X} \)가 더 작은 분산을 가진다.
   - Rao-Blackwell 정리에 의해 \( \bar{X} \)는 \( X_1 \)보다 효율적인 추정량이 된다.

6) 결론
(1) 충분 통계량을 사용하면 더 효율적인 불편 추정량을 찾을 수 있다.
(2) 충분 통계량 \( Y_1 \)이 주어졌을 때, 기존 불편 추정량 \( Y_2 \)의 조건부 기대값 \( E[Y_2 | Y_1] \)을 새로운 추정량으로 삼으면, 여전히 불편성을 유지하면서도 더 작은 분산을 가진다.
(3) 즉, Rao-Blackwell 정리를 이용하면 동일한 기대값을 가지면서도 더 작은 분산을 가지는 최적의 추정량을 찾을 수 있다.

5. Basu 정리 (Basu's Theorem)

1) 정의 (Definition)
Basu 정리(Basu's Theorem)는 충분 통계량(sufficient statistic)과 모수와 무관한 통계량(ancillary statistic)이 서로 독립임을 보장하는 정리이다.  
즉, 충분 통계량이 주어졌을 때, 추가적인 정보를 포함하는 통계량이 있다면, 이는 충분 통계량과 독립적이라는 것이 이 정리의 핵심 내용이다.

Basu 정리의 공식적 서술  
만약 \( Y \)가 모수 \( \theta \)에 대한 충분 통계량이고,  
\( Z \)가 모수 \( \theta \)에 무관한 통계량(ancillary statistic)이라면,  

\[
Y \quad \text{와} \quad Z \quad \text{는 서로 독립이다.}
\]

여기서:
- 충분 통계량 \( Y \): 모집단의 모수 \( \theta \)를 포함하는 통계량으로, 인자분해 정리를 통해 결정할 수 있음.
- 모수와 무관한 통계량 \( Z \): 분포가 모수 \( \theta \)에 영향을 받지 않는 통계량.

즉, 충분 통계량을 이미 알고 있다면, 모수와 무관한 통계량을 추가로 사용할 필요가 없다.

2) Basu 정리의 직관적인 이해
이 정리는 충분 통계량이 주어지면, 추가적인 통계량이 불필요하다는 것을 의미한다.  
즉, 모수에 대한 정보를 가진 충분 통계량이 있으면, 추가적인 통계량을 사용해도 새로운 정보가 추가되지 않으며, 오히려 불필요한 계산만 증가한다.  

따라서 모수와 독립적인 통계량을 추가적으로 고려하는 것은 의미가 없다.  
이는 충분 통계량을 활용하면 불필요한 계산을 피하고, 효율적인 분석이 가능하다는 점에서 실용적으로도 매우 중요하다.

3) Basu 정리의 예제
예제 1: 정규 분포에서 표본 평균과 표본 분산의 독립성
가정:  
모집단이 정규 분포 \( N(\mu, \sigma^2) \)을 따른다고 가정하고, 표본 \( X_1, ..., X_n \)을 관측한다고 하자.

(1) 충분 통계량:  
   - 표본 평균 \( \bar{X} = \frac{1}{n} \sum X_i \)는 \( \mu \)에 대한 충분 통계량이다.

(2) 모수와 무관한 통계량:  
   - 표본 분산 \( S^2 = \frac{1}{n-1} \sum (X_i - \bar{X})^2 \)는 모수 \( \mu \)와 무관한 통계량이다.

(3) Basu 정리에 의해 \( \bar{X} \)와 \( S^2 \)는 독립이다.

즉, 정규 분포에서는 표본 평균과 표본 분산이 서로 독립임을 보장할 수 있다.  
이는 중심극한정리(CLT)와도 연관이 있으며, 표본 분산이 평균에 대한 추가적인 정보를 제공하지 않는다는 것을 의미한다.

증명 과정
정규 분포에서:
- \( X_i \sim N(\mu, \sigma^2) \)
- 표본 평균 \( \bar{X} \sim N(\mu, \sigma^2/n) \)
- 표본 분산 \( S^2 \sim \frac{\sigma^2}{n-1} \chi^2_{n-1} \) (자유도 \( n-1 \)인 카이제곱 분포를 따름)

이때, 표본 평균 \( \bar{X} \)과 표본 분산 \( S^2 \)가 서로 독립임을 증명할 수 있다.

이 결과는 통계학에서 매우 중요한 성질이며, 신뢰구간(confidence interval)이나 검정(testing)에서 표본 평균과 표본 분산을 독립적으로 활용할 수 있도록 해준다.

예제 2: 베르누이 분포에서 성공 횟수와 순서 정보
가정:  
각 시행이 독립적인 베르누이 분포를 따르는 \( X_1, X_2, ..., X_n \)이 있다고 하자.

(1) 충분 통계량:  
   - 표본에서 성공한 총 횟수 \( S = \sum X_i \)는 모수 \( p \)에 대한 충분 통계량이다.

(2) 모수와 무관한 통계량:  
   - 성공한 값 \( X_i = 1 \)이 표본에서 어디에 위치하는지에 대한 정보는 모수 \( p \)와 무관한 통계량이다.  
   즉, 성공한 값들이 표본 내에서 어떻게 배치되었는지는 \( p \)에 대한 정보를 추가적으로 제공하지 않는다.

(3) Basu 정리에 의해 \( S \)와 성공 위치 정보는 독립이다.  
즉, 성공 횟수 \( S \)만 알면 모수 \( p \)에 대한 모든 정보가 포함되어 있으며, 개별적인 시행에서 어느 위치에서 성공이 발생했는지는 추가적인 정보를 제공하지 않는다.

4) Basu 정리의 수학적 증명

Basu 정리는 충분 통계량과 모수와 무관한 통계량이 독립임을 보장하는 것이므로, 이를 증명하기 위해 확률분포의 조건부 확률을 이용하는 방법을 사용한다.

증명 개요
(1) 충분 통계량의 정의를 이용하여 결합 확률밀도함수 \( f(x_1, ..., x_n; \theta) \)을 인자분해 정리를 통해 분해한다.
   
   \[
   f(x_1, ..., x_n; \theta) = \phi(Y; \theta) h(x_1, ..., x_n)
   \]

   여기서:
   - \( \phi(Y; \theta) \)는 모수 \( \theta \)를 포함하는 함수.
   - \( h(x_1, ..., x_n) \)은 \( \theta \)와 무관한 함수이다.

(2) 충분 통계량 \( Y \)를 알 때, \( Z \)의 조건부 확률 분포를 계산하면 \( \theta \)와 무관함을 보일 수 있다.
   
   \[
   P(Z | Y, \theta) = P(Z | Y)
   \]

   즉, \( Z \)는 \( Y \)만으로 설명되며, \( \theta \)와 무관하기 때문에 \( Y \)와 \( Z \)는 독립이다.

이러한 과정은 표본 평균과 표본 분산의 독립성을 증명하는 데에도 활용할 수 있다.

5) Basu 정리의 실전 활용
Basu 정리는 최소 분산 불편 추정량(MVUE, Minimum Variance Unbiased Estimator)을 찾는 과정에서 유용하게 사용된다.

(1) 표본 평균과 표본 분산의 독립성을 보장하여 신뢰구간 계산을 쉽게 만든다.
(2) 추가적인 통계량이 불필요함을 증명하여, 불필요한 계산을 줄이고 효율적인 통계적 추정을 가능하게 한다.
(3) 베이즈 추론에서 충분 통계량을 이용한 사후 확률 계산이 가능해진다.

6) 결론
(1) 충분 통계량과 모수와 무관한 통계량은 독립이다.
(2) 충분 통계량을 알면 추가적인 정보를 포함하는 다른 통계량은 의미가 없다.
(3) 정규 분포에서 표본 평균과 표본 분산이 독립임을 보장한다.
(4) 베르누이 분포에서 성공 횟수와 성공 위치 정보가 독립임을 보장한다.
(5) Basu 정리는 효율적인 추정을 가능하게 하며, 불필요한 계산을 줄일 수 있다.