2.5 Discrete Distributions -The Negative Binomial Distribution

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

음이항분포의 정의 (Definition of Negative Binomial Distribution)
음이항분포는 독립된 베르누이 시행을 반복하여 정해진 성공 횟수 \( r \)에 도달하는 데 필요한 시행 횟수 \( X \)를 모델링합니다. 즉, \( X \)는 \( r \)번째 성공이 발생하는 시행 횟수입니다.

확률 질량 함수 (Probability Mass Function, PMF)
음이항분포의 PMF는 다음과 같이 정의됩니다:
\[g(x) = \binom{x-1}{r-1} p^r (1-p)^{x-r}, \quad x = r, r+1, r+2, \dots\]
- \( x \): 시행 횟수,
- \( r \): 성공의 목표 횟수,
- \( p \): 성공 확률,
- \( 1-p = q \): 실패 확률,
- \( \binom{x-1}{r-1} \): 조합의 수로, \( x-1 \)번의 시행 중 \( r-1 \)번 성공하는 경우의 수를 의미합니다.

음이항분포의 성질 (Properties of Negative Binomial Distribution)
1. 기대값 (Mean):
   \[\mu = E(X) = \frac{r}{p}\]
2. 분산 (Variance):
   \[\sigma^2 = \text{Var}(X) = \frac{r(1-p)}{p^2}\]
3. 특수 케이스 (Geometric Distribution):
   - \( r = 1 \)일 때, 음이항분포는 기하분포와 동일합니다:
     \[g(x) = p(1-p)^{x-1}, \quad x = 1, 2, 3, \dots\]

모멘트 생성 함수 (Moment-Generating Function, MGF)
음이항분포의 MGF는 다음과 같습니다:
\[M(t) = \left(\frac{p e^t}{1 - (1-p)e^t}\right)^r, \quad t < -\ln(1-p)\]
- MGF를 이용하면 분포의 평균과 분산을 확인할 수 있습니다.

예제 (Examples)
1. 예제 1: 농구 선수가 자유투를 80%의 확률로 성공한다고 가정합니다. 10번의 성공을 달성하기 위한 시행 횟수 \( X \)는 음이항분포를 따릅니다:
   - 성공 확률 \( p = 0.8 \),
   - 목표 성공 횟수 \( r = 10 \),
   - PMF:
     \[g(x) = \binom{x-1}{9} (0.8)^{10} (0.2)^{x-10}, \quad x = 10, 11, 12, \dots\]
   - 평균:
     \[\mu = \frac{10}{0.8} = 12.5\]
   - 분산:
     \[\sigma^2 = \frac{10 \cdot 0.2}{0.8^2} = 3.125\]

2. 예제 2: 동전을 던져 앞면이 5번 나오는 데 필요한 시행 횟수의 분포:
   - 성공 확률 \( p = 0.5 \),
   - 목표 성공 횟수 \( r = 5 \),
   - 평균:
     \[\mu = \frac{5}{0.5} = 10\]
   - 분산:
     \[\sigma^2 = \frac{5 \cdot 0.5}{0.5^2} = 10\]

연습문제 (Exercises)

1. 문제 1: \( p = 0.9 \), 첫 실패가 13번째 시도 이후 발생할 확률은?
2. 문제 2: \( p = 0.5 \), \( r = 5 \), 10번째 시도에서 5번째 성공이 발생할 확률은?
3. 문제 3: 평균, 분산, 표준편차를 구하시오:
   - \( p = 0.6 \),
   - \( r = 10 \).

---

음이항분포의 PMF 상세한 정리

음이항분포는 \( r \)번째 성공이 발생할 때까지 시행 횟수 \( x \)의 확률을 나타냅니다. 이때 확률 질량 함수(PMF)는 다음과 같이 정의됩니다:

\[g(x) = \binom{x-1}{r-1} p^r (1-p)^{x-r}, \quad x = r, r+1, r+2, \dots\]

PMF의 구성 요소 설명

1. \( \binom{x-1}{r-1} \): \( x-1 \)번의 시행 중 \( r-1 \)번 성공한 경우의 수
- 음이항분포에서는 \( x \)번째 시행이 \( r \)번째 성공이 됩니다.
- \( x-1 \)번의 시행 중 \( r-1 \)번 성공해야만 \( x \)번째 시행에서 \( r \)번째 성공이 가능합니다.
- 따라서 \( x-1 \)번의 시행 중 \( r-1 \)번 성공하는 경우의 수는 조합 \( \binom{x-1}{r-1} \)로 계산됩니다:
  \[\binom{x-1}{r-1} = \frac{(x-1)!}{(r-1)!(x-r)!}\]

2. \( p^r \): \( r \)번 성공할 확률
- 성공 확률이 \( p \)일 때 \( r \)번의 성공이 발생할 확률은 \( p^r \)입니다.
- 마지막 \( x \)번째 시행에서도 성공해야 하므로, 이는 \( p \)로 곱해집니다.

3. \( (1-p)^{x-r} \): \( x-r \)번 실패할 확률
- \( x \)번 시행 중 \( r \)번 성공 이외의 나머지 시행 \( x-r \)번은 실패해야 합니다.
- 실패 확률이 \( 1-p \)이므로, \( x-r \)번 실패 확률은 \( (1-p)^{(x-1)-(r-1)} \)  = \( (1-p)^{x-r} \)입니다.

PMF는 다음과 같이 구성됩니다:

1. \( x-1 \)번의 시행 중 \( r-1 \)번 성공하는 경우를 계산 (\( \binom{x-1}{r-1} \)).
2. 마지막 \( x \)번째 시행에서 성공 (\( p \)).
3. 나머지 시행은 모두 실패해야 하므로 실패 확률 \( (1-p)^{x-r} \)를 곱합니다.

결합하면:
\[g(x) = \binom{x-1}{r-1} p^r (1-p)^{x-r}\]

예제
농구 선수가 자유투를 70% 확률로 성공한다고 가정합니다. 선수가 3번 성공하기 위해 필요한 시도 횟수 \( x \)의 분포는 음이항분포를 따릅니다.

1. 문제: 3번째 성공이 5번째 시도에서 발생할 확률:
   - 성공 확률 \( p = 0.7 \),
   - 실패 확률 \( 1-p = 0.3 \),
   - \( r = 3 \), \( x = 5 \).

2. 계산:
   - \( \binom{x-1}{r-1} = \binom{5-1}{3-1} = \binom{4}{2} = \frac{4!}{2! \cdot 2!} = 6 \),
   - \( p^r = (0.7)^3 = 0.343 \),
   - \( (1-p)^{x-r} = (0.3)^{5-3} = (0.3)^2 = 0.09 \).

3. 결과:
   \[g(5) = \binom{4}{2} (0.7)^3 (0.3)^2 = 6 \cdot 0.343 \cdot 0.09 = 0.18522\]

결론
음이항분포의 PMF는 이전 시행에서 성공과 실패가 적절히 조합된 상태에서 최종적으로 \( x \)번째 시행이 성공으로 끝날 확률을 나타냅니다.

---

연습문제 풀이

문제 1: \( p = 0.9 \), 첫 실패가 13번째 시도 이후 발생할 확률

풀이
첫 실패가 \( x > 13 \)일 확률을 계산합니다.  
이는 기하분포를 사용하여 실패가 처음 발생하는 위치를 모델링할 수 있습니다:
\[P(X > k) = (1-p)^k\]

여기서:
- \( p = 0.9 \): 성공 확률,
- \( 1-p = 0.1 \): 실패 확률,
- \( k = 13 \).

계산
\[P(X > 13) = (p)^{13} = (0.9)^{13}\]

결과
\[P(X > 13) = 0.9^{13} \approx 0.254\]

# Parameters
p <- 0.9
k <- 13

# Probability of all successes
P_X_greater_13 <- p^k
print(P_X_greater_13)

# Python 코드
# Parameters
p = 0.9
k = 13

# Probability of all successes
P_X_greater_13 = p ** k
print(P_X_greater_13)

문제 2: \( p = 0.5 \), \( r = 5 \), 10번째 시도에서 5번째 성공이 발생할 확률

풀이
음이항분포의 PMF를 사용합니다:
\[P(X = x) = \binom{x-1}{r-1} p^r (1-p)^{x-r}\]

여기서:
- \( x = 10 \): 시행 횟수,
- \( r = 5 \): 성공 목표 횟수,
- \( p = 0.5 \): 성공 확률,
- \( \binom{x-1}{r-1} = \binom{9}{4} = \frac{9!}{4!5!} = 126 \).

계산
\[P(X = 10) = \binom{9}{4} (0.5)^5 (0.5)^5 = 126 \cdot (0.5)^{10} = 126 \cdot 0.0009765625 = 0.123\]

결과
\[P(X = 10) \approx 0.123\]

# R 코드
# Parameters
r <- 5
x <- 10
p <- 0.5

# Negative Binomial PMF
P_X_equals_10 <- dnbinom(x - r, size = r, prob = p)
print(P_X_equals_10)

# Python 코드
from scipy.stats import nbinom

# Parameters
r = 5
x = 10
p = 0.5

# Negative Binomial PMF
P_X_equals_10 = nbinom.pmf(x - r, r, p)
print(P_X_equals_10)

문제 3: 평균, 분산, 표준편차 계산 (\( p = 0.6, r = 10 \))

공식
음이항분포의 성질을 이용합니다:
- 평균 (Mean):
  \[\mu = \frac{r}{p} = \frac{10}{0.6} = 16.67\]
- 분산 (Variance):
  \[\sigma^2 = \frac{r(1-p)}{p^2} = \frac{10 \cdot 0.4}{0.6^2} = \frac{4}{0.36} = 11.11\]
- 표준편차 (Standard Deviation):
  \[\sigma = \sqrt{\sigma^2} = \sqrt{11.11} \approx 3.33\]

결과
- 평균: \( 16.67 \),
- 분산: \( 11.11 \),
- 표준편차: \( 3.33 \).

# R 코드
# Parameters
r <- 10
p <- 0.6

# Mean, Variance, Standard Deviation
mean <- r / p
variance <- r * (1 - p) / p^2
sd <- sqrt(variance)

print(c(mean, variance, sd))

# Python 코드
# Parameters
r = 10
p = 0.6

# Mean, Variance, Standard Deviation
mean = r / p
variance = r * (1 - p) / p**2
std_dev = variance**0.5

print(f"Mean: {mean}, Variance: {variance}, Standard Deviation: {std_dev}")

---

Maclaurin 급수(Maclaurin Series)

정의
Maclaurin 급수는 함수 \( f(x) \)를 \( x = 0 \) 주변에서 다항식의 무한 합으로 표현한 테일러 급수(Taylor Series)의 특별한 경우입니다.  

테일러 급수의 일반식:
\[f(x) = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \frac{f^{(n)}(a)}{n!}(x-a)^n + \dots\]

Maclaurin 급수는 \( a = 0 \)인 경우:
\[f(x) = f(0) + f'(0)x + \frac{f''(0)}{2!}x^2 + \frac{f^{(n)}(0)}{n!}x^n + \dots\]

일반식
Maclaurin 급수는 다음과 같은 무한 급수로 표현됩니다:
\[f(x) = \sum_{n=0}^{\infty} \frac{f^{(n)}(0)}{n!} x^n\]
- \( f^{(n)}(0) \): 함수의 \( n \)차 도함수를 \( x = 0 \)에서 평가한 값.
- \( n! \): \( n \) 팩토리얼 (\( n! = n \cdot (n-1) \cdot \dots \cdot 1 \)).

Maclaurin 급수의 주요 예시

1. 지수 함수 \( e^x \)
\[e^x = \sum_{n=0}^\infty \frac{x^n}{n!} = 1 + x + \frac{x^2}{2!} + \frac{x^3}{3!} + \dots\]

2. 사인 함수 \( \sin(x) \)
\[\sin(x) = \sum_{n=0}^\infty \frac{(-1)^n}{(2n+1)!} x^{2n+1} = x - \frac{x^3}{3!} + \frac{x^5}{5!} - \dots\]

3. 코사인 함수 \( \cos(x) \)
\[\cos(x) = \sum_{n=0}^\infty \frac{(-1)^n}{(2n)!} x^{2n} = 1 - \frac{x^2}{2!} + \frac{x^4}{4!} - \dots\]

4. 로그 함수 \( \ln(1+x) \)
\[\ln(1+x) = \sum_{n=1}^\infty \frac{(-1)^{n-1}}{n} x^n = x - \frac{x^2}{2} + \frac{x^3}{3} - \dots \quad (|x|< 1)\]

5. 역수 함수 \( \frac{1}{1-x} \)
\[\frac{1}{1-x} = \sum_{n=0}^\infty x^n = 1 + x + x^2 + x^3 + \dots \quad (|x| < 1)\]

Maclaurin 급수의 특징

1. 수렴 반경 (Radius of Convergence):
   - 급수가 수렴하는 \( x \)의 범위를 나타냄. 이는 함수의 성질에 따라 결정됨.
   - 예: \( \frac{1}{1-x} \)는 \( |x| < 1 \)에서 수렴.

2. 근사와 정확성:
   - \( x \)가 0에 가까울수록, Maclaurin 급수는 원래 함수에 더 근사합니다.
   - 고차항을 포함할수록 근사 정확도가 높아집니다.

응용
1) 함수 근사:
   - 복잡한 함수 계산을 다항식으로 근사하여 빠르게 계산 가능.
   - 예: 컴퓨터 계산기에서 \( e^x \)나 \( \sin(x) \) 값을 Maclaurin 급수로 계산.

2) 물리학 및 공학:
   - 주어진 점 근처에서 물리적 시스템의 거동을 근사하는 데 사용.
   - 예: 조화 진동의 근사.

3) 미적분학:
   - 미분 및 적분의 계산을 다항식으로 단순화.

 

Maclaurin 급수의 한계
1. 특정 \( x \) 값에서 급수가 수렴하지 않을 수 있음 (수렴 반경 제한).  
2. 고차항을 무한히 더해야 정확한 값을 얻을 수 있으며, 실제 계산에서는 근사에 의존함.