4.1 Bivariate Distributions -Bivariate Distributions of the Discrete Type

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

 

이산형 이변량 분포는 두 개의 이산형 확률변수의 결합 분포를 설명하는 확률 분포입니다. 이를 통해 두 변수 간의 상호작용을 이해할 수 있습니다.

1. 결합 확률분포 (Joint Probability Distribution)  
   - 이산형 확률변수 \( X \)와 \( Y \)의 결합 확률분포는 각 변수가 특정 값 \( x_i, y_j \)를 가질 확률을 정의합니다. 이를 \( P(X = x_i, Y = y_j) = p_{ij} \)로 표현합니다.
   - 결합 확률은 모든 가능한 쌍 \( (x_i, y_j) \)에 대해 합이 1이어야 합니다.  
     \[\sum_i \sum_j P(X = x_i, Y = y_j) = 1\]

2. 주변 확률분포 (Marginal Probability Distribution)  
   - 변수 \( X \) 또는 \( Y \)의 확률분포를 얻기 위해 다른 변수를 "무시"합니다.
     \[P(X = x_i) = \sum_j P(X = x_i, Y = y_j), \quad P(Y = y_j) = \sum_i P(X = x_i, Y = y_j)\]

3. 조건부 확률분포 (Conditional Probability Distribution)  
   - 변수 \( Y \)의 값이 주어졌을 때 \( X \)가 특정 값을 가질 확률은 다음과 같습니다.
     \[P(X = x_i | Y = y_j) = \frac{P(X = x_i, Y = y_j)}{P(Y = y_j)} \quad \text{단, \( P(Y = y_j) > 0 \)}.\]

4. 독립성 (Independence)  
   - 두 변수 \( X \)와 \( Y \)가 독립이라면:
     \[P(X = x_i, Y = y_j) = P(X = x_i) \cdot P(Y = y_j)\]

5. 기댓값과 공분산  
   - 기댓값:  
     \[E[X] = \sum_i x_i \cdot P(X = x_i), \quad E[Y] = \sum_j y_j \cdot P(Y = y_j)\]
   - 공분산:  
     \[\text{Cov}(X, Y) = E[XY] - E[X]E[Y], \quad E[XY] = \sum_i \sum_j x_i y_j P(X = x_i, Y = y_j)\]
   - 상관계수:  
     \[\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \cdot \text{Var}(Y)}}\]

예제 1  
다음 결합 확률표에서 주변 확률 \( P(X) \), \( P(Y) \), 그리고 조건부 확률 \( P(X = 1 | Y = 2) \)를 계산하세요.

	Y = 1	Y = 2
X = 1	0.2	0.1
X = 2	0.4	0.3

답안  
1. 주변 확률 계산:  
   - \( P(X = 1) = 0.2 + 0.1 = 0.3 \)  
   - \( P(X = 2) = 0.4 + 0.3 = 0.7 \)  
   - \( P(Y = 1) = 0.2 + 0.4 = 0.6 \)  
   - \( P(Y = 2) = 0.1 + 0.3 = 0.4 \)

2. 조건부 확률 계산:  
   \[P(X = 1 | Y = 2) = \frac{P(X = 1, Y = 2)}{P(Y = 2)} = \frac{0.1}{0.4} = 0.25\]

예제 2  
다음 결합 확률표에서 \( X \)와 \( Y \)가 독립인지 확인하세요.

	Y = 1	Y = 2
X = 1	0.25	0.15
X = 2	0.10	0.50

답안  
독립성을 확인하기 위해 \( P(X = x_i, Y = y_j) = P(X = x_i) \cdot P(Y = y_j) \)를 만족하는지 계산합니다.  

1. 주변 확률 계산:  
   - \( P(X = 1) = 0.25 + 0.15 = 0.4 \)  
   - \( P(X = 2) = 0.10 + 0.50 = 0.6 \)  
   - \( P(Y = 1) = 0.25 + 0.10 = 0.35 \)  
   - \( P(Y = 2) = 0.15 + 0.50 = 0.65 \)

2. 독립성 검증:  
   \[P(X = 1, Y = 1) = 0.25, \quad P(X = 1) \cdot P(Y = 1) = 0.4 \cdot 0.35 = 0.14\]  
   \( P(X = 1, Y = 1) \neq P(X = 1) \cdot P(Y = 1) \)이므로 \( X \)와 \( Y \)는 독립이 아닙니다.

예제 3  
다음 결합 확률표를 이용하여 \( E[X] \), \( E[Y] \), \( E[XY] \), 그리고 공분산 \( \text{Cov}(X, Y) \)를 계산하세요.

	Y = 1	Y = 2
X = 1	0.1	0.2
X = 2	0.3	0.4

답안  
1. \( E[X] \):  
   \[E[X] = 1 \cdot (0.1 + 0.2) + 2 \cdot (0.3 + 0.4) = 1 \cdot 0.3 + 2 \cdot 0.7 = 1.7\]

2. \( E[Y] \):  
   \[E[Y] = 1 \cdot (0.1 + 0.3) + 2 \cdot (0.2 + 0.4) = 1 \cdot 0.4 + 2 \cdot 0.6 = 1.6\]

3. \( E[XY] \):  
   \[E[XY] = 1 \cdot 1 \cdot 0.1 + 1 \cdot 2 \cdot 0.2 + 2 \cdot 1 \cdot 0.3 + 2 \cdot 2 \cdot 0.4 = 2.6\]

4. \( \text{Cov}(X, Y) \):  
   \[\text{Cov}(X, Y) = E[XY] - E[X]E[Y] = 2.6 - (1.7 \cdot 1.6) = 0.88\]

연습문제
문제 1  
다음 결합 확률표에서 \( P(X = 1) \), \( P(Y = 2) \), 그리고 \( P(X = 2 | Y = 2) \)를 계산하세요.

	Y = 1	Y = 2	Y = 3
X = 1	0.1	0.2	0.2
X = 2	0.2	0.1	0.2

문제 2  
다음 결합 확률표에서 \( X \)와 \( Y \)가 독립인지 확인하세요.

	Y = 1	Y = 2
X = 1	0.3	0.2
X = 2	0.2	0.3

문제 3  
다음 결합 확률표에서 \( E[X] \), \( E[Y] \), 그리고 \( \text{Cov}(X, Y) \)를 계산하세요.

	Y = 1	Y = 2	Y = 3
X = 1	0.1	0.1	0.1
X = 2	0.2	0.2	0.1

 

---

연습문제 답

1. \( E[X] \):  
   \( E[X] = \sum_{x} x \cdot P(X = x) \)  
   \( P(X = 1) = 0.3, P(X = 2) = 0.5 \)  
   \( E[X] = 1 \cdot 0.3 + 2 \cdot 0.5 = 1.3 \)  

2. \( E[Y] \):  
   \( E[Y] = \sum_{y} y \cdot P(Y = y) \)  
   \( P(Y = 1) = 0.3, P(Y = 2) = 0.3, P(Y = 3) = 0.2 \)  
   \( E[Y] = 1 \cdot 0.3 + 2 \cdot 0.3 + 3 \cdot 0.2 = 1.7 \)  

3. \( \text{Cov}(X, Y) \):  
   \( \text{Cov}(X, Y) = E[XY] - E[X]E[Y] \)  
   \( E[XY] = \sum_{x,y} x \cdot y \cdot P(X = x, Y = y) \)  
   \( E[XY] = 1\cdot1\cdot0.1 + 1\cdot2\cdot0.1 + 1\cdot3\cdot0.1 + 2\cdot1\cdot0.2 + 2\cdot2\cdot0.2 + 2\cdot3\cdot0.1 = 2.7 \)  
   \( \text{Cov}(X, Y) = 2.7 - (1.3 \cdot 1.7) = 2.7 - 2.21 = 0.49 \).  

# R code
# 문제 1
P_X1 <- 0.1 + 0.2 + 0.2
P_Y2 <- 0.2 + 0.1
P_X2_given_Y2 <- 0.1 / 0.3

# 문제 2
P_X1 <- 0.5
P_Y1 <- 0.5
P_X1_Y1 <- 0.3
independent <- P_X1 * P_Y1 == P_X1_Y1 # FALSE

# 문제 3
X <- c(1, 2)
Y <- c(1, 2, 3)
P_X <- c(0.3, 0.5)
P_Y <- c(0.3, 0.3, 0.2)
P_XY <- matrix(c(0.1, 0.1, 0.1, 0.2, 0.2, 0.1), nrow=2, byrow=TRUE)

E_X <- sum(X * P_X)
E_Y <- sum(Y * P_Y)
E_XY <- sum(outer(X, Y, "*") * P_XY)
Cov_XY <- E_XY - E_X * E_Y

# Python code
import numpy as np

# 문제 1
P_X1 = 0.1 + 0.2 + 0.2
P_Y2 = 0.2 + 0.1
P_X2_given_Y2 = 0.1 / 0.3

# 문제 2
P_X1 = 0.5
P_Y1 = 0.5
P_X1_Y1 = 0.3
independent = P_X1 * P_Y1 == P_X1_Y1  # False

# 문제 3
X = np.array([1, 2])
Y = np.array([1, 2, 3])
P_X = np.array([0.3, 0.5])
P_Y = np.array([0.3, 0.3, 0.2])
P_XY = np.array([[0.1, 0.1, 0.1],
                 [0.2, 0.2, 0.1]])

E_X = np.sum(X * P_X)
E_Y = np.sum(Y * P_Y)
E_XY = np.sum(X[:, None] * Y[None, :] * P_XY)
Cov_XY = E_XY - E_X * E_Y