5.9 Distributions of Functionsof Random Variables -Limiting Moment-Generating Functions

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

1. 이론 정리
1) 제한 모멘트-생성 함수 (Limiting Moment-Generating Functions)  
- 정의: 모멘트-생성 함수(moment-generating function, MGF)는 확률 분포의 모멘트를 계산하거나 특성을 분석하는 데 사용하는 도구입니다.  
- 제한 MGF: 확률 변수 \( X_n \)의 MGF \( M_{X_n}(t) \)가 어떤 함수 \( M(t) \)로 수렴하면, 이를 제한 모멘트-생성 함수라 합니다. 이는 \( M_{X_n}(t) \to M(t) \)가 모든 \( t \)에서 만족해야 합니다.  
- 의의: 제한 MGF는 확률 변수의 분포가 수렴하는지 확인하거나, 중심 극한 정리와 같은 이론을 검증하는 데 사용됩니다.  

2) 주요 이론  
- Theorem (중요 성질):  
  만약 \( M_{X_n}(t) \to M(t) \)이고 \( M(t) \)가 어떤 분포의 MGF라면, \( X_n \)의 분포는 \( M(t) \)에 의해 정의되는 분포로 수렴합니다.  

- Corollary:  
  \( M_{X_n}(t) \to M(t) \)가 만족되면, \( X_n \)의 모든 모멘트가 존재하고, 각 모멘트는 \( M(t) \)의 모멘트와 동일합니다.  

3) 증명 개요  
- 모멘트-생성 함수는 \( t \)에 대해 정의된 지수 함수의 기대값으로 주어집니다.  
  \( M_X(t) = E[e^{tX}] \).  
- \( M_{X_n}(t) \to M(t) \)라는 조건을 통해 분포의 수렴과 모멘트 수렴을 증명합니다.  
- 만약 \( M(t) \)가 유효한 MGF임을 보이면, 해당 분포가 존재함을 확인할 수 있습니다.

2. 예제
1) 문제 1  
어떤 확률 변수 \( X_n \)이 지수분포(\( \lambda = 1 \))를 가지며, \( X_n \sim \text{Exp}(1) \)라 하자.  
MGF \( M_{X_n}(t) = \frac{\lambda}{\lambda - t} \)를 계산하고, \( n \to \infty \)에서 수렴하는지 확인하세요.

풀이:  
a. 지수분포의 확률밀도함수  
   지수분포 \( X_n \sim \text{Exp}(1) \)의 확률밀도함수는 다음과 같습니다.  
   \[
   f_{X_n}(x) = \begin{cases} 
   e^{-x}, & x \geq 0, \\ 
   0, & x < 0. 
   \end{cases}
   \]

b. MGF 정의  
   모멘트-생성 함수(MGF)는 다음과 같이 정의됩니다.  
   \[
   M_{X_n}(t) = E[e^{tX_n}] = \int_{0}^{\infty} e^{tx} f_{X_n}(x) dx.
   \]

c. MGF 계산  
   \( f_{X_n}(x) = e^{-x} \)를 대입하면,  
   \[
   M_{X_n}(t) = \int_{0}^{\infty} e^{tx} e^{-x} dx = \int_{0}^{\infty} e^{-(1-t)x} dx.
   \]
   이 적분은 \( 1-t > 0 \), 즉 \( t < 1 \)일 때 수렴하며, 적분값은 다음과 같습니다.  
   \[
   M_{X_n}(t) = \frac{1}{1-t}, \quad \text{(for \( t < 1 \))}.
   \]

d. 수렴 확인  
   \( M_{X_n}(t) = \frac{1}{1-t} \)는 \( t < 1 \)에서 항상 동일한 값을 가지며, 이는 \( n \to \infty \)에서 변하지 않습니다. 따라서 \( n \to \infty \)에서 MGF는 수렴합니다.    

2) 문제 2  
독립 정규분포 \( X_1, X_2 \sim N(0,1) \)의 합 \( S_n = \frac{X_1 + X_2}{\sqrt{2}} \)의 MGF를 구하고 제한 MGF를 확인하세요.

풀이:  
a. \( S_n \)의 분포 확인  
   - \( X_1, X_2 \)는 독립이고 동일한 정규분포를 따릅니다.  
   - 분산의 선형성과 독립성을 활용하면, \( S_n \)의 평균과 분산은 다음과 같습니다.  
     \[
     E[S_n] = \frac{E[X_1] + E[X_2]}{\sqrt{2}} = 0,
     \]  
     \[
     \text{Var}(S_n) = \frac{\text{Var}(X_1) + \text{Var}(X_2)}{2} = \frac{1 + 1}{2} = 1.
     \]  
   따라서 \( S_n \sim N(0,1) \)임을 알 수 있습니다.  

b. MGF 정의  
   정규분포 \( S_n \sim N(0,1) \)의 MGF는 정의에 의해 다음과 같습니다.  
   \[
   M_{S_n}(t) = E[e^{tS_n}] = \int_{-\infty}^{\infty} e^{t s} \frac{1}{\sqrt{2\pi}} e^{-s^2/2} ds.
   \]

c. MGF 계산  
   적분을 계산하면, \( M_{S_n}(t) = e^{t^2 / 2} \)임을 알 수 있습니다.  

d. 제한 MGF 확인  
   이 MGF는 모든 \( t \)에서 유효하며, 정규분포 \( N(0,1) \)에 의해 정의되는 분포로 수렴합니다. 따라서 제한 MGF는 \( e^{t^2 / 2} \)입니다.

3) 문제 3  
이항분포 \( X_n \sim \text{Bin}(n, p) \)에서 \( Y_n = \frac{X_n - np}{\sqrt{np(1-p)}} \)의 MGF가 정규분포로 수렴함을 보여주세요.

풀이:  
a) \( X_n \)의 MGF 정의  
이항분포 \( X_n \sim \text{Bin}(n, p) \)의 MGF는 다음과 같이 정의됩니다.  
\[
M_{X_n}(t) = E[e^{tX_n}] = \left(1 - p + pe^t \right)^n.
\]  
이는 이항분포에서 \( X_n \)의 MGF 정의에 의해 성립합니다.

b) \( Y_n \)의 MGF로 변환  
정규화된 확률 변수 \( Y_n = \frac{X_n - np}{\sqrt{np(1-p)}} \)의 MGF는 정의에 의해 다음과 같습니다.  
\[
M_{Y_n}(t) = E[e^{tY_n}] = E\left[e^{t \cdot \frac{X_n - np}{\sqrt{np(1-p)}}}\right].
\]  
이를 간단히 하면:  
\[
M_{Y_n}(t) = E\left[e^{\frac{t}{\sqrt{np(1-p)}} X_n} \cdot e^{-\frac{tnp}{\sqrt{np(1-p)}}}\right].
\]  
상수 \( e^{-\frac{tnp}{\sqrt{np(1-p)}}} \)를 기대값 밖으로 빼면:  
\[
M_{Y_n}(t) = e^{-\frac{tnp}{\sqrt{np(1-p)}}} \cdot E\left[e^{\frac{t}{\sqrt{np(1-p)}} X_n}\right].
\]  

c) \( X_n \)의 MGF 대입  
\( X_n \)의 MGF \( M_{X_n}(u) = \left(1 - p + pe^u\right)^n \)를 이용합니다. 여기서 \( u = \frac{t}{\sqrt{np(1-p)}} \)로 대입하면:  
\[
E\left[e^{\frac{t}{\sqrt{np(1-p)}} X_n}\right] = \left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right)^n.
\]  
따라서:  
\[
M_{Y_n}(t) = e^{-\frac{tnp}{\sqrt{np(1-p)}}} \cdot \left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right)^n.
\]  

d) 로그 변환 및 극한 분석  
\( n \to \infty \)일 때의 수렴성을 확인하기 위해, 로그를 취하여 다음과 같이 변환합니다:  
\[
\ln M_{Y_n}(t) = -\frac{tnp}{\sqrt{np(1-p)}} + n \ln \left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right).
\]  

(a) 첫 번째 항:  
   \[
   -\frac{tnp}{\sqrt{np(1-p)}} = -t \sqrt{\frac{np}{1-p}}.
   \]

(b) 두 번째 항 분석 (Taylor 전개):  
   \( \ln(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}) \)를 Taylor 전개합니다.  
   - \( e^{\frac{t}{\sqrt{np(1-p)}}} \approx 1 + \frac{t}{\sqrt{np(1-p)}} + \frac{t^2}{2np(1-p)} \).  
   - 따라서 \( 1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}} \approx 1 + \frac{pt}{\sqrt{np(1-p)}} + \frac{p t^2}{2np(1-p)} \).  
   - 로그를 취하면:  
     \[
     \ln\left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right) \approx \frac{pt}{\sqrt{np(1-p)}} + \frac{p t^2}{2np(1-p)}.
     \]

(c) 로그 대입 및 단순화:  
   \[
   \ln M_{Y_n}(t) = -t \sqrt{\frac{np}{1-p}} + n \cdot \left(\frac{pt}{\sqrt{np(1-p)}} + \frac{p t^2}{2np(1-p)}\right).
   \]  
   첫 번째 항과 두 번째 항의 선형항이 상쇄됩니다. 남는 항은:  
   \[
   \ln M_{Y_n}(t) \approx \frac{t^2}{2}.
   \]

e) 최종 결과  
\[
M_{Y_n}(t) \to e^{t^2 / 2}, \quad \text{as } n \to \infty.
\]  
이는 표준 정규분포 \( N(0,1) \)의 MGF와 동일하므로, \( Y_n \)의 분포는 \( N(0,1) \)로 수렴합니다.

3. 연습문제
1) 문제
(1) 문제 1  
정규분포 \( X \sim N(0,1) \)의 MGF \( M_X(t) = e^{t^2/2} \)를 증명하세요.  

(2) 문제 2  
포아송 분포 \( X \sim \text{Poisson}(\lambda) \)의 MGF \( M_X(t) = e^{\lambda(e^t - 1)} \)를 구하세요.  

(3) 문제 3  
대수적으로 \( X_n \sim \text{Bernoulli}(p) \)에서 \( n \to \infty \)일 때, \( S_n = \sum_{i=1}^n X_i \)의 MGF를 구하고 제한 MGF를 확인하세요.  

2) 답
(1) 문제 1  
정규분포 \( X \sim N(0,1) \)의 MGF \( M_X(t) = e^{t^2/2} \) 증명

a. 정의:  
   정규분포 \( X \sim N(0,1) \)의 확률밀도함수는  
   \[
   f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}
   \]  
   모멘트-생성 함수는 정의에 의해  
   \[
   M_X(t) = E[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} f_X(x) dx
   \]

b. 풀이:  
   \( M_X(t) \)를 계산하기 위해 \( f_X(x) \) 대입:
   \[
   M_X(t) = \int_{-\infty}^\infty e^{tx} \frac{1}{\sqrt{2\pi}} e^{-x^2/2} dx
   \]
   이를 하나의 지수로 묶으면:
   \[
   M_X(t) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac{1}{2}(x^2 - 2tx)} dx
   \]
   \( x^2 - 2tx = (x - t)^2 - t^2 \)이므로:
   \[
   M_X(t) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac{1}{2}(x-t)^2} e^{t^2/2} dx
   \]
   \( e^{t^2/2} \)은 상수로 인수분해 가능:
   \[
   M_X(t) = e^{t^2/2} \cdot \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac{1}{2}(x-t)^2} dx
   \]
   마지막 적분은 정규분포의 밀도함수의 총합으로 \( 1 \):
   \[
   M_X(t) = e^{t^2/2}
   \]

(2) 문제 2  
포아송 분포 \( X \sim \text{Poisson}(\lambda) \)의 MGF \( M_X(t) = e^{\lambda(e^t - 1)} \) 계산

a. 정의:  
   포아송 분포의 확률질량함수는  
   \[
   P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots
   \]  
   MGF는 정의에 따라  
   \[
   M_X(t) = E[e^{tX}] = \sum_{k=0}^\infty e^{tk} \cdot P(X = k)
   \]

b. 풀이:  
   \[
   M_X(t) = \sum_{k=0}^\infty e^{tk} \cdot \frac{\lambda^k e^{-\lambda}}{k!}
   \]
   이를 정리하면:
   \[
   M_X(t) = e^{-\lambda} \sum_{k=0}^\infty \frac{(\lambda e^t)^k}{k!}
   \]
   지수 함수의 급수 전개식 \( e^z = \sum_{k=0}^\infty \frac{z^k}{k!} \)을 사용하여:
   \[
   M_X(t) = e^{-\lambda} \cdot e^{\lambda e^t} = e^{\lambda(e^t - 1)}
   \]

(3) 문제 3  
\( X_n \sim \text{Bernoulli}(p) \)에서 \( S_n = \sum_{i=1}^n X_i \)의 MGF와 제한 MGF 확인

a. 정의:  
   \( S_n \sim \text{Bin}(n, p) \)이며, MGF는  
   \[
   M_{S_n}(t) = E[e^{tS_n}] = \left(1 - p + pe^t\right)^n
   \]

b. 제한 MGF:  
   중심 극한 정리에 의해 \( S_n \)을 정규화하면 \( Z_n = \frac{S_n - np}{\sqrt{np(1-p)}} \to N(0,1) \).  
   따라서 \( Z_n \)의 MGF는 \( e^{t^2/2} \)로 수렴합니다.

# R code
# 문제 1: 정규분포의 MGF
mgf_normal <- function(t) {
  exp(t^2 / 2)
}
cat("MGF of N(0,1):", mgf_normal(0.5), "\n")

# 문제 2: 포아송 분포의 MGF
mgf_poisson <- function(lambda, t) {
  exp(lambda * (exp(t) - 1))
}
cat("MGF of Poisson(λ=2):", mgf_poisson(2, 0.5), "\n")

# 문제 3: 이항 분포의 MGF
mgf_binomial <- function(n, p, t) {
  (1 - p + p * exp(t))^n
}
cat("MGF of Binomial(n=10, p=0.5):", mgf_binomial(10, 0.5, 0.5), "\n")

# Python code
import math

# 문제 1: 정규분포의 MGF
def mgf_normal(t):
    return math.exp(t**2 / 2)

print("MGF of N(0,1):", mgf_normal(0.5))

# 문제 2: 포아송 분포의 MGF
def mgf_poisson(lam, t):
    return math.exp(lam * (math.exp(t) - 1))

print("MGF of Poisson(λ=2):", mgf_poisson(2, 0.5))

# 문제 3: 이항 분포의 MGF
def mgf_binomial(n, p, t):
    return (1 - p + p * math.exp(t))**n

print("MGF of Binomial(n=10, p=0.5):", mgf_binomial(10, 0.5, 0.5))