* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다
1. 이론 정리
1) Chebyshev의 부등식 (Chebyshev's Inequality)
Chebyshev의 부등식은 확률 분포의 분산을 기반으로, 확률 변수가 평균으로부터 특정 거리만큼 떨어질 확률의 상한을 제공합니다.
정의: 확률 변수 \( X \)가 평균 \( \mu \)와 분산 \( \sigma^2 \)를 가진다면, 모든 \( k > 0 \)에 대해:
\[P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}.\]
이는 평균으로부터 \( k \) 표준편차 이상 떨어질 확률이 \( \frac{1}{k^2} \) 이하임을 나타냅니다.
2) 확률적 수렴 (Convergence in Probability)
확률적 수렴은 확률 변수들의 수열 \( X_1, X_2, \dots \)이 특정 값 \( X \)에 수렴하는 개념입니다.
정의: \( X_n \)이 \( X \)에 확률적으로 수렴한다고 할 때,
\[\forall \epsilon > 0, \; \lim_{n \to \infty} P(|X_n - X| \geq \epsilon) = 0.\]
즉, \( n \)이 커짐에 따라 \( X_n \)이 \( X \)와 매우 가까워질 확률이 1에 가까워집니다.
증명: Chebyshev의 부등식
1) 정의에 따라 \( P(|X - \mu| \geq k\sigma) \)는 다음과 같습니다:
\[P(|X - \mu| \geq k\sigma) = P((X - \mu)^2 \geq k^2\sigma^2).\]
2) 마르코프 부등식에 따르면, \( g(X) \geq a > 0 \)인 함수 \( g(X) \)에 대해:
\[P(g(X) \geq a) \leq \frac{E[g(X)]}{a}.\]
3) 여기서 \( g(X) = (X - \mu)^2 \), \( a = k^2\sigma^2 \)로 설정하면:
\[P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{E[(X - \mu)^2]}{k^2\sigma^2}.\]
4) 분산의 정의 \( \text{Var}(X) = E[(X - \mu)^2] = \sigma^2 \)를 대입하면:
\[P(|X - \mu| \geq k\sigma) \leq \frac{\sigma^2}{k^2\sigma^2} = \frac{1}{k^2}.\]
2. 예제
예제 1: 단순 분포
어느 시험에서 평균 점수는 70점, 표준편차는 10점입니다. 점수가 90점 이상일 확률의 상한을 구하세요.
풀이:
\( \mu = 70 \), \( \sigma = 10 \), \( k = \frac{90 - 70}{10} = 2 \).
\[P(|X - 70| \geq 20) \leq \frac{1}{2^2} = \frac{1}{4}.\]
예제 2: 확률적 수렴
\( X_n = \frac{1}{n} \)인 확률 변수의 수열이 \( X = 0 \)에 수렴하는지 확인하세요.
풀이:
\[P(|X_n - 0| \geq \epsilon) = P(X_n \geq \epsilon) = P\left(\frac{1}{n} \geq \epsilon\right).\]
\( n > \frac{1}{\epsilon} \)일 때, 위 확률은 0에 가까워지므로 \( X_n \)은 \( X \)에 확률적으로 수렴합니다.
3. 연습문제
1) 문제
(1) 문제 1
평균 \( \mu = 100 \), 표준편차 \( \sigma = 15 \)인 시험 점수에서 점수가 130점 이상일 확률의 상한을 Chebyshev의 부등식을 사용하여 구하세요.
(2) 문제 2
평균 \( \mu = 20 \), 표준편차 \( \sigma = 4 \)인 분포에서, 점수가 \( \mu \pm 2\sigma \) 범위를 벗어날 확률의 상한을 Chebyshev의 부등식으로 계산하세요.
(3) 문제 3
확률 변수 \( X_n = \frac{1}{\sqrt{n}} \)이 \( X = 0 \)에 확률적으로 수렴함을 증명하세요.
2) 답
(1) 문제 1
\[k = \frac{130 - 100}{15} = 2.\]
Chebyshev 부등식:
\[P(|X - 100| \geq 30) \leq \frac{1}{k^2} = \frac{1}{2^2} = 0.25.\]
(2) 문제 2
\( \mu \pm 2\sigma \)에서 \( k = 2 \), Chebyshev 부등식에 따라:
\[P(|X - 20| \geq 8) \leq \frac{1}{k^2} = \frac{1}{2^2} = 0.25.\]
(3) 문제 3
\[P(|X_n - 0| \geq \epsilon) = P\left(\frac{1}{\sqrt{n}} \geq \epsilon\right).\]
\( n > \frac{1}{\epsilon^2} \)일 때, 확률은 0으로 수렴하므로 \( X_n \to 0 \)에 확률적으로 수렴합니다.
# R code
# 문제 1 Chebyshev 부등식 계산
mu <- 100
sigma <- 15
k <- (130 - mu) / sigma
upper_bound <- 1 / k^2
cat("문제 1: 확률 상한 =", upper_bound, "\n")
# 문제 2 Chebyshev 부등식 계산
mu <- 20
sigma <- 4
k <- 2
upper_bound <- 1 / k^2
cat("문제 2: 확률 상한 =", upper_bound, "\n")
# 문제 3 확률적 수렴 확인
n <- 100
epsilon <- 0.1
prob <- ifelse(1 / sqrt(n) >= epsilon, 1, 0)
cat("문제 3: 확률적 수렴 =", prob, "\n")# Python code
# 문제1 Chebyshev 부등식 계산
mu = 100
sigma = 15
k = (130 - mu) / sigma
upper_bound = 1 / k**2
print(f"문제 1: 확률 상한 = {upper_bound}")
# 문제2 Chebyshev 부등식 계산
mu = 20
sigma = 4
k = 2
upper_bound = 1 / k**2
print(f"문제 2: 확률 상한 = {upper_bound}")
# 문제3 확률적 수렴 확인
import numpy as np
n = 100
epsilon = 0.1
prob = 1 if 1 / np.sqrt(n) >= epsilon else 0
print(f"문제 3: 확률적 수렴 = {prob}") Chebyshev의 부등식 증명 추가
Chebyshev의 부등식은 확률 변수의 평균으로부터의 편차가 특정 범위를 초과할 확률의 상한을 제공합니다. 이를 증명하기 위해 다음 단계를 따릅니다.
1. 문제 정의
확률 변수 \( X \)가 평균 \( \mu \)와 분산 \( \sigma^2 \)를 가지며, \( k > 0 \)에 대해:
\[P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}.\]
이를 증명하기 위해 \( P(|X - \mu| \geq k\sigma) \)를 적절히 상한으로 제한하는 과정을 수행합니다.
2. 변환 및 정의 적용
1) 절대값 조건을 제곱으로 변환:
\[P(|X - \mu| \geq k\sigma) = P((X - \mu)^2 \geq k^2\sigma^2).\]
2) 확률 변수의 제곱을 활용하면, 마르코프 부등식(Markov's Inequality)을 사용할 수 있습니다. 마르코프 부등식은 다음과 같이 정의됩니다:
\[P(g(X) \geq a) \leq \frac{E[g(X)]}{a},\]
여기서 \( g(X) \geq 0 \)이고 \( a > 0 \)입니다.
3) 이 문제에서는 \( g(X) = (X - \mu)^2 \), \( a = k^2\sigma^2 \)로 설정합니다.
3. 마르코프 부등식 적용
1) \( g(X) = (X - \mu)^2 \)에 대해 기대값은 분산 \( \text{Var}(X) \)에 해당합니다:
\[E[(X - \mu)^2] = \text{Var}(X) = \sigma^2.\]
2) 마르코프 부등식을 적용하면:
\[P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{E[(X - \mu)^2]}{k^2\sigma^2}.\]
3) 기대값을 분산으로 치환:
\[P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{\sigma^2}{k^2\sigma^2}.\]
4) \( \sigma^2 \)를 약분하면:
\[
P((X - \mu)^2 \geq k^2\sigma^2) \leq \frac{1}{k^2}.
\]
4. 최종 정리
위 결과는 \( P(|X - \mu| \geq k\sigma) \)와 동일하므로:
\[P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}.\]
증명의 핵심 요약
1. 절대값 조건을 제곱 조건으로 변환.
2. 마르코프 부등식을 적용하여 확률의 상한 계산.
3. 분산과 조건을 활용해 상한을 단순화.
4. \( \frac{1}{k^2} \)로 제한된 상한을 얻음.
Chebyshev의 부등식은 확률 분포에 대한 구체적인 정보 없이, 평균과 분산만으로 특정 편차에 대한 확률의 상한을 제공하는 매우 강력한 도구입니다.
