2.4 Discrete Distributions -THE BINOMIAL DISTRIBUTION

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다.

이항분포의 기본 가정 (Basic Assumptions of Binomial Distribution)
1. 독립 시행 (Independent Trials):
   - 각 시행은 다른 시행의 결과에 영향을 받지 않습니다.
2. 고정된 시행 횟수 (Fixed Number of Trials):
   - 시행 횟수 \( n \)은 미리 정해져 있습니다.
3. 두 가지 결과 (Two Possible Outcomes):
   - 각 시행의 결과는 성공(success) 또는 실패(failure)로 구분됩니다.
4. 일정한 성공 확률 (Constant Success Probability):
   - 각 시행에서 성공할 확률 \( p \)는 동일합니다.

이항분포 정의 (Definition of Binomial Distribution)
이항분포는 고정된 시행 횟수 \( n \)과 각 시행에서 성공할 확률 \( p \)에 의해 정의됩니다. 성공 횟수를 나타내는 확률 질량 함수(PMF)는 다음과 같습니다:

\[P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}\]

- \( X \): 성공 횟수를 나타내는 확률 변수.
- \( \binom{n}{k} \): 조합의 수, \( \binom{n}{k} = \frac{n!}{k!(n-k)!} \).
- \( k \): 성공 횟수 (\( k = 0, 1, 2, \dots, n \)).

이항분포의 성질 (Properties of Binomial Distribution)
1. 기대값 (Mean): \( E[X] = np \)
2. 분산 (Variance): \( \text{Var}[X] = np(1-p) \)
3. 표준편차 (Standard Deviation): \( \sigma = \sqrt{np(1-p)} \)

이항분포의 모멘트 생성 함수 (MGF of Binomial Distribution)
모멘트 생성 함수(MGF)는 분포의 특성을 요약하고, 기대값과 분산을 포함한 모멘트를 도출하는 데 유용합니다.

이항분포 \( X \sim b(n, p) \)의 MGF는 다음과 같습니다:
\[M_X(t) = \left[ p e^t + (1-p) \right]^n\]

- \( M_X(t) \): 모멘트 생성 함수.
- MGF를 이용하여 \( E[X] \)와 \( \text{Var}[X] \)를 계산할 수 있습니다.

표본 추출과 이항분포의 관계 (Relation to Sampling Methods)
1. 복원 추출 (Sampling with Replacement):
   - 각 공을 추출한 후 다시 항아리에 넣는 경우.
   - 성공 확률 \( p = \frac{N_1}{N_1 + N_2} \)에서 성공 횟수 \( X \)는 이항분포 \( b(n, p) \)를 따릅니다.

2. 비복원 추출 (Sampling without Replacement):
   - 각 공을 추출한 후 다시 넣지 않는 경우.
   - 성공 횟수 \( X \)는 초기하분포(Hypergeometric Distribution)를 따릅니다. 
   - 초기하분포의 확률 질량 함수(PMF)는 다음과 같습니다:
     \[f(x) = \frac{\binom{N_1}{x} \binom{N_2}{n-x}}{\binom{N_1 + N_2}{n}}\]
   - 여기서 \( x \): 성공 횟수, \( x \leq n, x \leq N_1, n-x \leq N_2 \).

3. 큰 모집단과 작은 표본 (Large Population and Small Sample):
   - \( N_1 + N_2 \)가 매우 크고 \( n \)이 상대적으로 작을 경우, 복원/비복원 추출의 차이가 거의 없으며, 이항분포로 근사 가능.

그래프 비교 (Graphical Comparison)
- 하기 그래프에서는 복원 추출과 비복원 추출의 확률 분포를 비교합니다.
- \( N_1 + N_2 \)가 클수록 두 분포가 유사하며, 이는 복원 추출을 이항분포로 근사할 수 있음을 보여줍니다.

Binomial and hypergeometric (shaded) probability histograms

예제 (Examples)
1. 복원 추출 예제 (Example of Sampling with Replacement):
   - 성공 공이 5개, 실패 공이 10개 있는 항아리에서 복원하여 8번 추출.
   - 성공 확률 \( p = \frac{5}{15} = 1/3 \).
   - 성공 횟수 \( X \)는 \( b(8, 1/3) \)를 따릅니다.
   - 예: \( P(X = 3) = \binom{8}{3} (1/3)^3 (2/3)^5 \).

2. 비복원 추출 예제 (Example of Sampling without Replacement):
   - 성공 공이 5개, 실패 공이 10개 있는 항아리에서 비복원하여 8번 추출.
   - 성공 횟수 \( X \)는 초기하분포를 따릅니다:
     \[P(X = 3) = \frac{\binom{5}{3} \binom{10}{5}}{\binom{15}{8}}\]

연습문제 (Exercises)
1. \( n = 10 \), \( p = 0.3 \)일 때, \( X = 4 \)의 확률을 계산하시오.
2. \( N_1 = 7 \), \( N_2 = 13 \), \( n = 5 \)일 때, 비복원 추출에서 성공 횟수 \( X = 2 \)의 확률을 계산하시오.
3. 복원 추출과 비복원 추출의 차이가 감소하는 조건을 설명하시오.

 

---

이항분포의 MGF 증명

MGF란 무엇인가요?
모멘트 생성 함수(MGF)는 확률 변수의 성질을 요약하는 도구입니다.  
확률 변수 \( X \)에 대해 MGF는 다음과 같이 정의됩니다:

\[M_X(t) = E[e^{tX}]\]

- \( e^{tX} \): 확률 변수 \( X \)에 \( t \)라는 값을 곱한 뒤 지수 함수에 넣은 값.  
- \( E[\cdot] \): 기대값을 계산하는 과정. \( X \)의 각 값에 대한 평균을 계산합니다.

1단계: 이항분포를 이해하기
1. 이항분포의 기본:
   - \( X \): 성공 횟수 (0, 1, 2, ..., \( n \)).
   - 성공 확률: \( p \), 실패 확률: \( 1-p \).
   - 확률 질량 함수(PMF): 
     \[
     P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}
     \]
     \( \binom{n}{k} = \frac{n!}{k!(n-k)!} \): \( n \)번 중 \( k \)번 성공하는 경우의 수.

2단계: MGF 정의 대입하기
MGF를 계산하려면 정의 \( M_X(t) = E[e^{tX}] \)를 사용합니다.

\[M_X(t) = \sum_{k=0}^{n} e^{tk} P(X = k)\]

여기서, \( P(X = k) \)를 이항분포의 PMF로 대체합니다:

\[M_X(t) = \sum_{k=0}^{n} e^{tk} \binom{n}{k} p^k (1-p)^{n-k}\]

3단계: 수식 간소화
이 식을 간단히 해봅시다:
1. \( e^{tk} \), \( p^k \), \( (1-p)^{n-k} \)를 묶습니다.
2. \(\binom{n}{k}\)는 조합의 수입니다.

\[M_X(t) = \sum_{k=0}^{n} \binom{n}{k} \left(p e^t\right)^k \left(1-p\right)^{n-k}\]

4단계: 이항 정리를 사용하기
이 식은 이항 정리를 떠올리게 합니다.  
이항 정리에 따르면:
\[(a + b)^n = \sum_{k=0}^{n} \binom{n}{k} a^k b^{n-k}\]

우리의 식에서 \( a = p e^t \), \( b = 1-p \)로 볼 수 있습니다.  
이 공식을 대입하면:

\[M_X(t) = \left(p e^t + (1-p)\right)^n\]

결론
모멘트 생성 함수는 다음과 같이 증명됩니다:
\[M_X(t) = \left[ p e^t + (1-p) \right]^n\]

쉽게 비유하자면:
1. \( p e^t \)는 "성공 확률에 성공 효과(\( e^t \))를 곱한 것"을 나타냅니다.  
2. \( (1-p) \)는 "실패 확률"을 나타냅니다.  
3. 이 두 가지를 \( n \)번 곱하는 것은 성공과 실패가 섞이는 모든 경우를 합친 것입니다.

\[(p e^t + (1-p))^n\]  
이 식은 "모든 경우의 확률 효과를 모아둔 것"이라고 생각하면 됩니다!

---

연습문제 풀이

문제 1: \( n = 10 \), \( p = 0.3 \), \( X = 4 \)의 확률 계산
이항분포의 확률 질량 함수(PMF)를 사용하여 \( P(X = 4) \)를 계산합니다:
\[P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}\]

여기서:
- \( n = 10 \),
- \( k = 4 \),
- \( p = 0.3 \),
- \( 1-p = 0.7 \).

계산:
1. 조합 계산:
\[\binom{10}{4} = \frac{10!}{4!(10-4)!} = \frac{10 \cdot 9 \cdot 8 \cdot 7}{4 \cdot 3 \cdot 2 \cdot 1} = 210\]

2. 확률 계산:
\[P(X = 4) = 210 \cdot (0.3)^4 \cdot (0.7)^6\]

3. 세부 계산:
- \( (0.3)^4 = 0.0081 \),
- \( (0.7)^6 = 0.117649 \),
- \( P(X = 4) = 210 \cdot 0.0081 \cdot 0.117649 = 0.20012 \).

답:
\[P(X = 4) \approx 0.200\]

# R 코드
# Parameters
n <- 10
p <- 0.3
k <- 4

# Binomial Probability
P_X_equals_4 <- dbinom(k, size = n, prob = p)
print(P_X_equals_4)

# Python 코드
from scipy.stats import binom

# Parameters
n = 10
p = 0.3
k = 4

# Binomial Probability
P_X_equals_4 = binom.pmf(k, n, p)
print(P_X_equals_4)

 

문제 2: \( N_1 = 7 \), \( N_2 = 13 \), \( n = 5 \), \( X = 2 \)의 확률 계산
이 경우는 초기하분포를 따릅니다. 초기하분포의 PMF는 다음과 같습니다:
\[P(X = x) = \frac{\binom{N_1}{x} \binom{N_2}{n-x}}{\binom{N_1 + N_2}{n}}\]

여기서:
- \( N_1 = 7 \), \( N_2 = 13 \), \( n = 5 \), \( x = 2 \),
- \( N_1 + N_2 = 20 \).

계산:
1. 분자 계산:
   - \( \binom{N_1}{x} = \binom{7}{2} = \frac{7 \cdot 6}{2 \cdot 1} = 21 \),
   - \( \binom{N_2}{n-x} = \binom{13}{3} = \frac{13 \cdot 12 \cdot 11}{3 \cdot 2 \cdot 1} = 286 \).

2. 분모 계산:
   - \( \binom{N_1 + N_2}{n} = \binom{20}{5} = \frac{20 \cdot 19 \cdot 18 \cdot 17 \cdot 16}{5 \cdot 4 \cdot 3 \cdot 2 \cdot 1} = 15504 \).

3. 확률 계산:
\[P(X = 2) = \frac{\binom{7}{2} \binom{13}{3}}{\binom{20}{5}} = \frac{21 \cdot 286}{15504} = \frac{6006}{15504}\approx 0.3874\]

 답:
\[P(X = 2) \approx 0.387\]

# R 코드
# Parameters
N1 <- 7
N2 <- 13
n <- 5
x <- 2

# Hypergeometric Probability
P_X_equals_2 <- dhyper(x, m = N1, n = N2, k = n)
print(P_X_equals_2)

# Python 코드
from scipy.stats import hypergeom

# Parameters
N1 = 7
N2 = 13
n = 5
x = 2
total_population = N1 + N2

# Hypergeometric Probability
P_X_equals_2 = hypergeom.pmf(x, total_population, N1, n)
print(P_X_equals_2)

문제 3: 복원 추출과 비복원 추출의 차이가 감소하는 조건
복원 추출과 비복원 추출의 차이가 감소하는 조건은 다음과 같습니다:

1. 모집단 크기(\( N \))가 매우 클 때:
   - 모집단 크기 \( N = N_1 + N_2 \)가 매우 크면, 각 샘플 추출 시 성공 확률 \( p = \frac{N_1}{N} \)이 거의 변하지 않으므로 두 방법 간 차이가 줄어듭니다.

2. 표본 크기(\( n \))가 모집단 크기 대비 작을 때:
   - \( n \)이 \( N \)에 비해 작을수록 샘플링 후 성공 공의 비율 변화가 작아 비복원 추출이 복원 추출과 비슷해집니다.

3. 성공/실패 공의 비율이 비슷할 때:
   - \( p \)와 \( 1-p \)가 균등할수록(예: \( p = 0.5 \)) 복원/비복원 추출의 차이가 더 적습니다.

답:
- 모집단 크기가 크고, 표본 크기가 작을수록 복원과 비복원의 차이가 감소합니다.

# R 코드
# Simulating probabilities for large population
N1 <- 1000  # Number of success balls
N2 <- 9000  # Number of failure balls
n <- 10     # Sample size
x <- 3      # Number of successes

# Hypergeometric
P_hyper <- dhyper(x, m = N1, n = N2, k = n)

# Binomial approximation
p <- N1 / (N1 + N2)
P_binomial <- dbinom(x, size = n, prob = p)

# Difference
difference <- abs(P_hyper - P_binomial)
print(c(P_hyper, P_binomial, difference))

# Python 코드
from scipy.stats import hypergeom, binom

# Parameters
N1 = 1000  # Number of success balls
N2 = 9000  # Number of failure balls
n = 10     # Sample size
x = 3      # Number of successes

# Hypergeometric Probability
total_population = N1 + N2
P_hyper = hypergeom.pmf(x, total_population, N1, n)

# Binomial Approximation
p = N1 / total_population
P_binomial = binom.pmf(x, n, p)

# Difference
difference = abs(P_hyper - P_binomial)
print(f"Hypergeometric: {P_hyper}, Binomial: {P_binomial}, Difference: {difference}")