2.3 Discrete Distributions -SPECIAL MATHEMATICAL EXPECTATIONS

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

 

개요
특별한 수학적 기대는 확률 변수와 그 함수의 성질을 이해하는 데 중요한 역할을 합니다. 이 섹션에서는 확률 변수의 기대값, 분산, 공분산, 모멘트, 생성 함수 등 주요 개념을 다루며, 관련된 증명과 심화 설명을 포함합니다. 또한 각 개념을 이해하는 데 필요한 예제와 연습문제를 제공합니다.

 

1. 기대값 (Expectation)

정의
기대값은 확률 변수의 평균적인 값을 측정하며, 확률 변수 $X$에 대해 다음과 같이 정의됩니다:
- 이산형 확률 변수:
$ E(X) = \sum_x xP(X=x) $
- 연속형 확률 변수:
$ E(X) = \int_{-\infty}^\infty x f_X(x) dx $

 

특성: 선형성
기대값의 선형성은 확률 변수의 독립성과 관계없이 성립합니다:
$ E(aX + bY) = aE(X) + bE(Y) $
여기서 $a, b$는 상수이고, $X, Y$는 확률 변수입니다.

 

증명: 기대값의 선형성
1) 이산형 확률 변수:
$ E(aX + bY) = \sum_x \sum_y (aX + bY) P(X = x, Y = y) $
$ = a \sum_x X P(X = x) + b \sum_y Y P(Y = y) $
$ = aE(X) + bE(Y) $

2) 연속형 확률 변수:
$ E(aX + bY) = \int_{-\infty}^\infty \int_{-\infty}^\infty (aX + bY) f_{XY}(x, y) dx dy $
$ = a \int_{-\infty}^\infty X f_X(x) dx + b \int_{-\infty}^\infty Y f_Y(y) dy $
$ = aE(X) + bE(Y) $

 

2. 분산 (Variance)
정의
분산은 확률 변수 값이 평균 주위에서 얼마나 흩어져 있는지를 나타냅니다.
- 정의:
$ \text{Var}(X) = E[(X - E(X))^2] $
- 대안 표현:
$ \text{Var}(X) = E(X^2) - [E(X)]^2 $

 

성질
1. 스칼라 변환:
$ \text{Var}(aX) = a^2\text{Var}(X) $
2. 독립 확률 변수 $X$와 $Y$의 합:
$ \text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) $

 

증명: 분산의 대안 표현
분산의 정의를 전개하면:
$ \text{Var}(X) = E[(X - E(X))^2] = E(X^2 - 2X \cdot E(X) + [E(X)]^2) $
$ = E(X^2) - 2E(X)E(X) + [E(X)]^2 = E(X^2) - [E(X)]^2 $

 

3. 공분산 (Covariance)
정의
공분산은 두 확률 변수 간의 선형 관계를 측정합니다.
- $ \text{Cov}(X, Y) = E[(X - E(X))(Y - E(Y))] $
- 대안 표현:
$ \text{Cov}(X, Y) = E(XY) - E(X)E(Y) $

 

성질
1) 독립성의 효과:
- $X$와 $Y$가 독립이면:
$ \text{Cov}(X, Y) = 0 $

2) 공분산과 분산의 관계:
$ \text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X, Y) $

 

증명: 공분산과 분산의 관계
분산의 정의로부터:
$ \text{Var}(X + Y) = E((X + Y)^2) - [E(X + Y)]^2 $
이를 전개하면:
$ = E(X^2) + E(Y^2) + 2E(XY) - [E(X)]^2 - [E(Y)]^2 - 2E(X)E(Y) $
$ = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X, Y) $

 

4. 모멘트와 중심 모멘트 (Moments and Central Moments)
모멘트는 확률 분포의 모양과 관련된 중요한 수학적 척도입니다. 이를 통해 분포의 중심, 퍼짐, 비대칭성, 꼬리의 두꺼움 등을 설명할 수 있습니다. 모멘트는 분포를 더 깊이 이해하기 위한 도구로 사용됩니다.

 

모멘트란 무엇인가?
모멘트(moment)는 확률 분포의 특성을 나타내기 위해 확률 변수 $X$의 거듭 제곱을 사용하는 개념입니다. 이를 쉽게 비유하면, 물리학에서 균형점(중심)을 기준으로 물체의 무게 분포를 나타내는 수학적 계산과 비슷합니다.

 

1) 1차 모멘트는 분포의 중심(기대값)을 나타냅니다.  
예를 들어, 평균적인 값을 통해 분포의 중심 위치를 알 수 있습니다.

 

2) 2차 모멘트는 분포가 얼마나 퍼져 있는지를 나타냅니다. 
예를 들어, 분산은 분포의 넓이를 측정하는데 사용됩니다.

 

3) 3차 모멘트는 분포의 비대칭성을 나타냅니다. 
예를 들어, 분포가 한쪽으로 치우쳤는지(왜도)를 보여줍니다.

 

4) 4차 모멘트는 분포의 꼬리가 두꺼운 정도를 나타냅니다. 
예를 들어, 첨도는 분포가 평평한지 뾰족한지를 설명합니다.

 

정의

1) $r$차 모멘트
$r$차 모멘트는 확률 변수 $X$의 $r$제곱 값의 기대값입니다:
$ \mu'_r = E(X^r) $
- 1차 모멘트: $E(X)$는 기대값으로, 분포의 중심을 나타냅니다.
- 2차 모멘트: $E(X^2)$는 분포의 퍼짐 정도를 측정합니다.

 

2) 중심 $r$차 모멘트
중심 $r$차 모멘트는 확률 변수 $X$에서 평균 $E(X)$를 기준으로 한 $r$제곱 값의 기대값입니다:
$ \mu_r = E[(X - E(X))^r] $

 

- 1차 중심 모멘트: 
$ \mu_1 = E(X - E(X)) = 0 $
항상 0입니다. 이는 평균으로부터의 차이가 대칭적으로 분포된다는 사실을 반영합니다.

 

- 2차 중심 모멘트: 
$ \mu_2 = E[(X - E(X))^2] $
이는 분산과 동일하며, 데이터의 퍼짐 정도를 나타냅니다.

 

- 3차 중심 모멘트: 
$ \mu_3 = E[(X - E(X))^3] $
이는 분포의 비대칭성(왜도)을 측정합니다.

 

- 4차 중심 모멘트:
$ \mu_4 = E[(X - E(X))^4] $
이는 분포의 꼬리 두께와 뾰족함(첨도)을 측정합니다

 

왜 모멘트가 중요한가?
모멘트는 분포의 형태를 정의하는 데 유용합니다. 
모멘트를 사용하면 확률 변수 $X$의 다음 특성을 설명할 수 있습니다:

 

1) 중심 (Mean): 데이터가 평균적으로 어느 위치에 분포하는지 나타냅니다.  
예: 기대값($E(X)$).

 

2) 퍼짐 (Spread): 데이터가 평균 주변에서 얼마나 흩어져 있는지 보여줍니다.  
예: 분산($\text{Var}(X)$)이나 표준편차.

 

3) 비대칭성 (Skewness): 분포가 한쪽으로 치우쳐 있거나 대칭적인지 측정합니다.  
- 오른쪽 꼬리가 길면 양의 왜도.
- 왼쪽 꼬리가 길면 음의 왜도.

 

4) 꼬리 두께와 뾰족함 (Kurtosis): 분포가 평평한지, 뾰족한지를 나타냅니다.  
- 꼬리가 두꺼운 분포는 첨도가 큼.
- 꼬리가 얇은 분포는 첨도가 작음.

 

구체적인 예시
예제 1: 1차 및 2차 모멘트 계산
확률 변수 $X$의 확률 질량 함수가 아래와 같다고 하자:
$
P(X = x) =
\begin{cases} 
0.1 & x = 1 \\
0.3 & x = 2 \\
0.4 & x = 3 \\
0.2 & x = 4
\end{cases}
$

1) 1차 모멘트: $E(X)$를 계산합니다.  
$ E(X) = \sum_x xP(X = x) = (1)(0.1) + (2)(0.3) + (3)(0.4) + (4)(0.2) $
$ E(X) = 0.1 + 0.6 + 1.2 + 0.8 = 2.7 $

2) 2차 모멘트: $E(X^2)$를 계산합니다.  
$ E(X^2) = \sum_x x^2P(X = x) = (1^2)(0.1) + (2^2)(0.3) + (3^2)(0.4) + (4^2)(0.2) $
$ E(X^2) = 0.1 + 1.2 + 3.6 + 3.2 = 8.1 $

3) 분산:  
$ \text{Var}(X) = E(X^2) - [E(X)]^2 $
$ \text{Var}(X) = 8.1 - (2.7)^2 = 8.1 - 7.29 = 0.81 $

예제 2: 중심 모멘트 계산
다음은 위의 $X$에 대해 중심 모멘트를 계산하는 예입니다:

1. 1차 중심 모멘트(기대값, 평균):  
$ \mu_1 = E(X - E(X)) = 0 $

2. 2차 중심 모멘트 (분산):  
$ \mu_2 = \text{Var}(X) = 0.81 $

 

3. 3차 중심 모멘트:  
$ \mu_3 = E[(X - E(X))^3] $
이 값은 계산 과정을 통해 비대칭성을 측정합니다.

 

모멘트를 활용한 분포의 이해
1. 정규분포는 3차 중심 모멘트($\mu_3$)가 0이고 4차 중심 모멘트($\mu_4$)가 3입니다.
2. 왜도와 첨도를 사용해 데이터 분포를 직관적으로 이해할 수 있습니다:
- 왜도: $-2 \leq \text{Skewness} \leq 2$
- 첨도: $\text{Kurtosis} = 3$ (정규분포 기준)


5. 생성 함수 (Generating Functions)
1) 기댓값 생성 함수 (MGF)
MGF는 확률 분포를 요약하는 데 유용한 도구로, 확률 변수 $X$의 모든 모멘트를 계산할 수 있는 정보를 제공합니다.

- 정의:
확률 변수 $X$의 기댓값 생성 함수는 다음과 같이 정의됩니다:
$ M_X(t) = E(e^{tX}) $
여기서 $t$는 실수 매개변수입니다.

- 주요 성질:
1. $M_X(0) = 1$: $t = 0$일 때 항상 1입니다.
2. $M_X'(t)$와 $M_X''(t)$를 이용해 모멘트를 계산할 수 있습니다:
- 첫 번째 모멘트 (기대값): 
$ M_X'(0) = \frac{d}{dt}M_X(t)\bigg|_{t=0} = E(X) $
- 두 번째 모멘트 (분산 관련): 
$ M_X''(0) = \frac{d^2}{dt^2}M_X(t)\bigg|_{t=0} = E(X^2) $
- 분산 계산: 
$ \text{Var}(X) = M_X''(0) - [M_X'(0)]^2 $

2) 특성 함수
- 정의:
$ \phi_X(t) = E(e^{itX}) $

3)  MGF와 분포의 특성
기댓값 생성 함수는 특정 분포를 정의하는 데도 사용됩니다. 몇 가지 예를 들어보겠습니다:

- 정규분포 $N(\mu, \sigma^2)$:
$ M_X(t) = \exp\left(\mu t + \frac{\sigma^2 t^2}{2}\right) $

- 지수분포(Exponential):
$ M_X(t) = \frac{\lambda}{\lambda - t}, \quad t < \lambda $

- 포아송분포(Poisson):
$ M_X(t) = \exp(\lambda(e^t - 1)) $

4) 특수 기대값의 사례

- $r$차 모멘트:
$ E(X^r) = \int_{-\infty}^\infty x^r f_X(x) dx $
이는 분포의 모양을 설명하는 중요한 값입니다.

- $E[(X - c)^r]$:
$ E[(X - c)^r] $는 중심을 $c$로 이동시킨 확률 변수의 $r$차 모멘트입니다.

 

5) 기하학적 기대값:
기하학적 분포의 기대값은 다음과 같이 계산됩니다:
$ E(X) = \frac{1}{p} $
여기서 $p$는 성공 확률입니다.

 

6) 특정 함수 기대값 계산:
특정 함수 $g(X)$에 대해 $E[g(X)]$를 계산할 수 있습니다. 예를 들어:
$ g(X) = X^2, \quad E[X^2] = \int_{-\infty}^\infty x^2 f_X(x) dx $

 

예제
- MGF 계산: 정규분포 $N(0, 1)$  
$ M_X(t) = \exp\left(\frac{t^2}{2}\right) $
여기서 $M_X'(t)$와 $M_X''(t)$를 계산하면:
- $ M_X'(t) = t\exp\left(\frac{t^2}{2}\right) $
- $ M_X''(t) = (1 + t^2)\exp\left(\frac{t^2}{2}\right) $   

기대값: $M_X'(0) = 0$, 분산: $M_X''(0) - [M_X'(0)]^2 = 1$.

- $E[e^{tX}]$ 계산  
포아송 분포 $P(\lambda)$에서:
$ M_X(t) = E(e^{tX}) = \sum_{x=0}^\infty e^{tx} \frac{\lambda^x e^{-\lambda}}{x!} = \exp(\lambda(e^t - 1)) $

 

예제 풀이
예제 1: 분산 계산
$E(X) = 5$, $E(X^2) = 30$일 때, $\text{Var}(X)$는?  
- 풀이:
$ \text{Var}(X) = E(X^2) - [E(X)]^2 = 30 - 25 = 5 $

예제 2: 선형 변환의 분산과 기대값
$E(X) = 4$, $\text{Var}(X) = 3$, $Y = 2X + 1$.  

- 풀이:
- 기대값:
$ E(Y) = 2E(X) + 1 = 9 $
- 분산:
$ \text{Var}(Y) = 2^2\text{Var}(X) = 12 $

예제 3: MGF를 이용한 기대값 계산
$M_X(t) = (1 - t)^{-2}$.  

- 풀이:
$ M_X'(t) = 2(1 - t)^{-3}(-1), \quad M_X'(0) = -2 $
$ E(X) = M_X'(0) = -2 $

---

연습문제 및 답

1. $E(3X + 5Y) = ?$  
답: $3E(X) + 5E(Y)$

2. $\text{Var}(2X - 3)$를 $E(X)$와 $\text{Var}(X)$로 표현하세요.  
답: $4\text{Var}(X)$

3. $M_X(t)$가 주어질 때 $M_X'(t)$와 $M_X''(t)$를 사용해 $\text{Var}(X)$를 계산하세요.  
답: $\text{Var}(X) = M_X''(0) - [M_X'(0)]^2$

4. $\mu_4 = 100$, $\mu_2 = 5$일 때, 첨도를 계산하세요.  
답: $\text{Kurtosis} = \frac{100}{5^2} = 4$