* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다
1. 이론 정리
1) 제한 모멘트-생성 함수 (Limiting Moment-Generating Functions)
- 정의: 모멘트-생성 함수(moment-generating function, MGF)는 확률 분포의 모멘트를 계산하거나 특성을 분석하는 데 사용하는 도구입니다.
- 제한 MGF: 확률 변수 \( X_n \)의 MGF \( M_{X_n}(t) \)가 어떤 함수 \( M(t) \)로 수렴하면, 이를 제한 모멘트-생성 함수라 합니다. 이는 \( M_{X_n}(t) \to M(t) \)가 모든 \( t \)에서 만족해야 합니다.
- 의의: 제한 MGF는 확률 변수의 분포가 수렴하는지 확인하거나, 중심 극한 정리와 같은 이론을 검증하는 데 사용됩니다.
2) 주요 이론
- Theorem (중요 성질):
만약 \( M_{X_n}(t) \to M(t) \)이고 \( M(t) \)가 어떤 분포의 MGF라면, \( X_n \)의 분포는 \( M(t) \)에 의해 정의되는 분포로 수렴합니다.
- Corollary:
\( M_{X_n}(t) \to M(t) \)가 만족되면, \( X_n \)의 모든 모멘트가 존재하고, 각 모멘트는 \( M(t) \)의 모멘트와 동일합니다.
3) 증명 개요
- 모멘트-생성 함수는 \( t \)에 대해 정의된 지수 함수의 기대값으로 주어집니다.
\( M_X(t) = E[e^{tX}] \).
- \( M_{X_n}(t) \to M(t) \)라는 조건을 통해 분포의 수렴과 모멘트 수렴을 증명합니다.
- 만약 \( M(t) \)가 유효한 MGF임을 보이면, 해당 분포가 존재함을 확인할 수 있습니다.
2. 예제
1) 문제 1
어떤 확률 변수 \( X_n \)이 지수분포(\( \lambda = 1 \))를 가지며, \( X_n \sim \text{Exp}(1) \)라 하자.
MGF \( M_{X_n}(t) = \frac{\lambda}{\lambda - t} \)를 계산하고, \( n \to \infty \)에서 수렴하는지 확인하세요.
풀이:
a. 지수분포의 확률밀도함수
지수분포 \( X_n \sim \text{Exp}(1) \)의 확률밀도함수는 다음과 같습니다.
\[
f_{X_n}(x) = \begin{cases}
e^{-x}, & x \geq 0, \\
0, & x < 0.
\end{cases}
\]
b. MGF 정의
모멘트-생성 함수(MGF)는 다음과 같이 정의됩니다.
\[
M_{X_n}(t) = E[e^{tX_n}] = \int_{0}^{\infty} e^{tx} f_{X_n}(x) dx.
\]
c. MGF 계산
\( f_{X_n}(x) = e^{-x} \)를 대입하면,
\[
M_{X_n}(t) = \int_{0}^{\infty} e^{tx} e^{-x} dx = \int_{0}^{\infty} e^{-(1-t)x} dx.
\]
이 적분은 \( 1-t > 0 \), 즉 \( t < 1 \)일 때 수렴하며, 적분값은 다음과 같습니다.
\[
M_{X_n}(t) = \frac{1}{1-t}, \quad \text{(for \( t < 1 \))}.
\]
d. 수렴 확인
\( M_{X_n}(t) = \frac{1}{1-t} \)는 \( t < 1 \)에서 항상 동일한 값을 가지며, 이는 \( n \to \infty \)에서 변하지 않습니다. 따라서 \( n \to \infty \)에서 MGF는 수렴합니다.
2) 문제 2
독립 정규분포 \( X_1, X_2 \sim N(0,1) \)의 합 \( S_n = \frac{X_1 + X_2}{\sqrt{2}} \)의 MGF를 구하고 제한 MGF를 확인하세요.
풀이:
a. \( S_n \)의 분포 확인
- \( X_1, X_2 \)는 독립이고 동일한 정규분포를 따릅니다.
- 분산의 선형성과 독립성을 활용하면, \( S_n \)의 평균과 분산은 다음과 같습니다.
\[
E[S_n] = \frac{E[X_1] + E[X_2]}{\sqrt{2}} = 0,
\]
\[
\text{Var}(S_n) = \frac{\text{Var}(X_1) + \text{Var}(X_2)}{2} = \frac{1 + 1}{2} = 1.
\]
따라서 \( S_n \sim N(0,1) \)임을 알 수 있습니다.
b. MGF 정의
정규분포 \( S_n \sim N(0,1) \)의 MGF는 정의에 의해 다음과 같습니다.
\[
M_{S_n}(t) = E[e^{tS_n}] = \int_{-\infty}^{\infty} e^{t s} \frac{1}{\sqrt{2\pi}} e^{-s^2/2} ds.
\]
c. MGF 계산
적분을 계산하면, \( M_{S_n}(t) = e^{t^2 / 2} \)임을 알 수 있습니다.
d. 제한 MGF 확인
이 MGF는 모든 \( t \)에서 유효하며, 정규분포 \( N(0,1) \)에 의해 정의되는 분포로 수렴합니다. 따라서 제한 MGF는 \( e^{t^2 / 2} \)입니다.
3) 문제 3
이항분포 \( X_n \sim \text{Bin}(n, p) \)에서 \( Y_n = \frac{X_n - np}{\sqrt{np(1-p)}} \)의 MGF가 정규분포로 수렴함을 보여주세요.
풀이:
a) \( X_n \)의 MGF 정의
이항분포 \( X_n \sim \text{Bin}(n, p) \)의 MGF는 다음과 같이 정의됩니다.
\[
M_{X_n}(t) = E[e^{tX_n}] = \left(1 - p + pe^t \right)^n.
\]
이는 이항분포에서 \( X_n \)의 MGF 정의에 의해 성립합니다.
b) \( Y_n \)의 MGF로 변환
정규화된 확률 변수 \( Y_n = \frac{X_n - np}{\sqrt{np(1-p)}} \)의 MGF는 정의에 의해 다음과 같습니다.
\[
M_{Y_n}(t) = E[e^{tY_n}] = E\left[e^{t \cdot \frac{X_n - np}{\sqrt{np(1-p)}}}\right].
\]
이를 간단히 하면:
\[
M_{Y_n}(t) = E\left[e^{\frac{t}{\sqrt{np(1-p)}} X_n} \cdot e^{-\frac{tnp}{\sqrt{np(1-p)}}}\right].
\]
상수 \( e^{-\frac{tnp}{\sqrt{np(1-p)}}} \)를 기대값 밖으로 빼면:
\[
M_{Y_n}(t) = e^{-\frac{tnp}{\sqrt{np(1-p)}}} \cdot E\left[e^{\frac{t}{\sqrt{np(1-p)}} X_n}\right].
\]
c) \( X_n \)의 MGF 대입
\( X_n \)의 MGF \( M_{X_n}(u) = \left(1 - p + pe^u\right)^n \)를 이용합니다. 여기서 \( u = \frac{t}{\sqrt{np(1-p)}} \)로 대입하면:
\[
E\left[e^{\frac{t}{\sqrt{np(1-p)}} X_n}\right] = \left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right)^n.
\]
따라서:
\[
M_{Y_n}(t) = e^{-\frac{tnp}{\sqrt{np(1-p)}}} \cdot \left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right)^n.
\]
d) 로그 변환 및 극한 분석
\( n \to \infty \)일 때의 수렴성을 확인하기 위해, 로그를 취하여 다음과 같이 변환합니다:
\[
\ln M_{Y_n}(t) = -\frac{tnp}{\sqrt{np(1-p)}} + n \ln \left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right).
\]
(a) 첫 번째 항:
\[
-\frac{tnp}{\sqrt{np(1-p)}} = -t \sqrt{\frac{np}{1-p}}.
\]
(b) 두 번째 항 분석 (Taylor 전개):
\( \ln(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}) \)를 Taylor 전개합니다.
- \( e^{\frac{t}{\sqrt{np(1-p)}}} \approx 1 + \frac{t}{\sqrt{np(1-p)}} + \frac{t^2}{2np(1-p)} \).
- 따라서 \( 1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}} \approx 1 + \frac{pt}{\sqrt{np(1-p)}} + \frac{p t^2}{2np(1-p)} \).
- 로그를 취하면:
\[
\ln\left(1 - p + p e^{\frac{t}{\sqrt{np(1-p)}}}\right) \approx \frac{pt}{\sqrt{np(1-p)}} + \frac{p t^2}{2np(1-p)}.
\]
(c) 로그 대입 및 단순화:
\[
\ln M_{Y_n}(t) = -t \sqrt{\frac{np}{1-p}} + n \cdot \left(\frac{pt}{\sqrt{np(1-p)}} + \frac{p t^2}{2np(1-p)}\right).
\]
첫 번째 항과 두 번째 항의 선형항이 상쇄됩니다. 남는 항은:
\[
\ln M_{Y_n}(t) \approx \frac{t^2}{2}.
\]
e) 최종 결과
\[
M_{Y_n}(t) \to e^{t^2 / 2}, \quad \text{as } n \to \infty.
\]
이는 표준 정규분포 \( N(0,1) \)의 MGF와 동일하므로, \( Y_n \)의 분포는 \( N(0,1) \)로 수렴합니다.
3. 연습문제
1) 문제
(1) 문제 1
정규분포 \( X \sim N(0,1) \)의 MGF \( M_X(t) = e^{t^2/2} \)를 증명하세요.
(2) 문제 2
포아송 분포 \( X \sim \text{Poisson}(\lambda) \)의 MGF \( M_X(t) = e^{\lambda(e^t - 1)} \)를 구하세요.
(3) 문제 3
대수적으로 \( X_n \sim \text{Bernoulli}(p) \)에서 \( n \to \infty \)일 때, \( S_n = \sum_{i=1}^n X_i \)의 MGF를 구하고 제한 MGF를 확인하세요.
2) 답
(1) 문제 1
정규분포 \( X \sim N(0,1) \)의 MGF \( M_X(t) = e^{t^2/2} \) 증명
a. 정의:
정규분포 \( X \sim N(0,1) \)의 확률밀도함수는
\[
f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}
\]
모멘트-생성 함수는 정의에 의해
\[
M_X(t) = E[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} f_X(x) dx
\]
b. 풀이:
\( M_X(t) \)를 계산하기 위해 \( f_X(x) \) 대입:
\[
M_X(t) = \int_{-\infty}^\infty e^{tx} \frac{1}{\sqrt{2\pi}} e^{-x^2/2} dx
\]
이를 하나의 지수로 묶으면:
\[
M_X(t) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac{1}{2}(x^2 - 2tx)} dx
\]
\( x^2 - 2tx = (x - t)^2 - t^2 \)이므로:
\[
M_X(t) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac{1}{2}(x-t)^2} e^{t^2/2} dx
\]
\( e^{t^2/2} \)은 상수로 인수분해 가능:
\[
M_X(t) = e^{t^2/2} \cdot \frac{1}{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac{1}{2}(x-t)^2} dx
\]
마지막 적분은 정규분포의 밀도함수의 총합으로 \( 1 \):
\[
M_X(t) = e^{t^2/2}
\]
(2) 문제 2
포아송 분포 \( X \sim \text{Poisson}(\lambda) \)의 MGF \( M_X(t) = e^{\lambda(e^t - 1)} \) 계산
a. 정의:
포아송 분포의 확률질량함수는
\[
P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}, \quad k = 0, 1, 2, \ldots
\]
MGF는 정의에 따라
\[
M_X(t) = E[e^{tX}] = \sum_{k=0}^\infty e^{tk} \cdot P(X = k)
\]
b. 풀이:
\[
M_X(t) = \sum_{k=0}^\infty e^{tk} \cdot \frac{\lambda^k e^{-\lambda}}{k!}
\]
이를 정리하면:
\[
M_X(t) = e^{-\lambda} \sum_{k=0}^\infty \frac{(\lambda e^t)^k}{k!}
\]
지수 함수의 급수 전개식 \( e^z = \sum_{k=0}^\infty \frac{z^k}{k!} \)을 사용하여:
\[
M_X(t) = e^{-\lambda} \cdot e^{\lambda e^t} = e^{\lambda(e^t - 1)}
\]
(3) 문제 3
\( X_n \sim \text{Bernoulli}(p) \)에서 \( S_n = \sum_{i=1}^n X_i \)의 MGF와 제한 MGF 확인
a. 정의:
\( S_n \sim \text{Bin}(n, p) \)이며, MGF는
\[
M_{S_n}(t) = E[e^{tS_n}] = \left(1 - p + pe^t\right)^n
\]
b. 제한 MGF:
중심 극한 정리에 의해 \( S_n \)을 정규화하면 \( Z_n = \frac{S_n - np}{\sqrt{np(1-p)}} \to N(0,1) \).
따라서 \( Z_n \)의 MGF는 \( e^{t^2/2} \)로 수렴합니다.
# R code
# 문제 1: 정규분포의 MGF
mgf_normal <- function(t) {
exp(t^2 / 2)
}
cat("MGF of N(0,1):", mgf_normal(0.5), "\n")
# 문제 2: 포아송 분포의 MGF
mgf_poisson <- function(lambda, t) {
exp(lambda * (exp(t) - 1))
}
cat("MGF of Poisson(λ=2):", mgf_poisson(2, 0.5), "\n")
# 문제 3: 이항 분포의 MGF
mgf_binomial <- function(n, p, t) {
(1 - p + p * exp(t))^n
}
cat("MGF of Binomial(n=10, p=0.5):", mgf_binomial(10, 0.5, 0.5), "\n")# Python code
import math
# 문제 1: 정규분포의 MGF
def mgf_normal(t):
return math.exp(t**2 / 2)
print("MGF of N(0,1):", mgf_normal(0.5))
# 문제 2: 포아송 분포의 MGF
def mgf_poisson(lam, t):
return math.exp(lam * (math.exp(t) - 1))
print("MGF of Poisson(λ=2):", mgf_poisson(2, 0.5))
# 문제 3: 이항 분포의 MGF
def mgf_binomial(n, p, t):
return (1 - p + p * math.exp(t))**n
print("MGF of Binomial(n=10, p=0.5):", mgf_binomial(10, 0.5, 0.5))