4.2 Bivariate Distributions -THE CORRELATION COEFFICIENT
* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다
상관계수는 두 변수 간의 선형 관계의 강도와 방향을 나타내는 값입니다. 이는 두 확률변수 \( X \)와 \( Y \)의 공분산을 각 변수의 표준편차로 나누어 정의됩니다.
1. 공분산 (Covariance)
공분산은 두 확률변수의 결합 분포를 기반으로 계산되며, 다음과 같이 정의됩니다:
\[\text{Cov}(X, Y) = E[XY] - E[X]E[Y]\]
- \(\text{Cov}(X, Y) > 0\): \( X \)와 \( Y \)가 양의 상관관계를 가짐
- \(\text{Cov}(X, Y) < 0\): \( X \)와 \( Y \)가 음의 상관관계를 가짐
- \(\text{Cov}(X, Y) = 0\): \( X \)와 \( Y \)가 선형적으로 독립적임
2. 상관계수 (Correlation Coefficient)
상관계수 \( \rho_{XY} \)는 공분산을 각 변수의 표준편차로 나누어 정규화한 값입니다.
\[\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \cdot \text{Var}(Y)}}\]
여기서, \(\text{Var}(X)\)와 \(\text{Var}(Y)\)는 각각 \( X \)와 \( Y \)의 분산입니다.
\[\text{Var}(X) = E[X^2] - (E[X])^2, \quad \text{Var}(Y) = E[Y^2] - (E[Y])^2\]
3. 상관계수의 범위
- \( \rho_{XY} \in [-1, 1] \)
- \( \rho_{XY} = 1 \): 완벽한 양의 선형 관계
- \( \rho_{XY} = -1 \): 완벽한 음의 선형 관계
- \( \rho_{XY} = 0 \): 선형 관계 없음
예제
예제 1: 두 변수의 상관계수 계산
다음 결합 확률표에서 \( E[X] \), \( E[Y] \), \( E[XY] \), \( \text{Var}(X) \), \( \text{Var}(Y) \), 그리고 \( \rho_{XY} \)를 계산하세요.
| Y = 1 | Y = 2 | Y = 3 | |
| X = 1 | 0.1 | 0.1 | 0.2 |
| X = 2 | 0.1 | 0.3 | 0.2 |
답안
1. \( E[X] = 1 \cdot (0.1 + 0.1 + 0.2) + 2 \cdot (0.1 + 0.3 + 0.2) = 1.7 \)
2. \( E[Y] = 1 \cdot (0.1 + 0.1) + 2 \cdot (0.1 + 0.3) + 3 \cdot (0.2 + 0.2) = 2.3 \)
3. \( E[XY] = \sum x_i y_j P(X = x_i, Y = y_j) = 4.2 \)
4. \( \text{Var}(X) = E[X^2] - (E[X])^2 = 3.1 - 1.7^2 = 0.21 \)
5. \( \text{Var}(Y) = E[Y^2] - (E[Y])^2 = 5.29 - 2.3^2 = 0.18 \)
6. \( \rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \cdot \text{Var}(Y)}} = \frac{4.2 - (1.7 \cdot 2.3)}{\sqrt{0.21 \cdot 0.18}} = 0.91 \)
예제 2: 선형 관계 여부 확인
다음 결합 확률표에서 \( X \)와 \( Y \)의 상관계수를 계산하고 선형 관계가 있는지 확인하세요.
| Y = 1 | Y = 2 | |
| X = 1 | 0.3 | 0.2 |
| X = 2 | 0.2 | 0.3 |
1. 기대값 계산
- \( E(X) = \sum_x x P(X = x) \)
- \( E(Y) = \sum_y y P(Y = y) \)
확률 분포로부터:
- \( P(X = 1) = 0.3 + 0.2 = 0.5 \), \( P(X = 2) = 0.2 + 0.3 = 0.5 \)
- \( P(Y = 1) = 0.3 + 0.2 = 0.5 \), \( P(Y = 2) = 0.2 + 0.3 = 0.5 \)
따라서:
- \( E(X) = (1)(0.5) + (2)(0.5) = 1.5 \)
- \( E(Y) = (1)(0.5) + (2)(0.5) = 1.5 \)
2. 분산 계산
- \( Var(X) = E(X^2) - [E(X)]^2 \)
- \( Var(Y) = E(Y^2) - [E(Y)]^2 \)
계산:
- \( E(X^2) = (1^2)(0.5) + (2^2)(0.5) = 0.5 + 2 = 2.5 \)
- \( Var(X) = 2.5 - (1.5)^2 = 2.5 - 2.25 = 0.25 \)
- \( E(Y^2) = (1^2)(0.5) + (2^2)(0.5) = 2.5 \)
- \( Var(Y) = 2.5 - (1.5)^2 = 0.25 \)
3. 공분산 계산
- \( Cov(X, Y) = E(XY) - E(X)E(Y) \)
공분산 계산:
- \( E(XY) = (1)(1)(0.3) + (1)(2)(0.2) + (2)(1)(0.2) + (2)(2)(0.3) = 0.3 + 0.4 + 0.4 + 1.2 = 2.3 \)
- \( Cov(X, Y) = 2.3 - (1.5)(1.5) = 2.3 - 2.25 = 0.05 \)
4. 상관계수 계산
- \( \rho_{XY} = \frac{Cov(X, Y)}{\sqrt{Var(X) Var(Y)}} \)
- \( \rho_{XY} = \frac{0.05}{\sqrt{0.25 \cdot 0.25}} = \frac{0.05}{0.25} = 0.2 \)
결론:
상관계수 \( \rho_{XY} = 0.2 \)는 \( X \)와 \( Y \) 사이에 약한 양의 선형 관계가 있음을 나타냅니다.
예제 3: 상관계수 계산 및 해석
다음 결합 확률표에서 \( \rho_{XY} \)를 계산하고, 결과를 해석하세요.
| Y = 1 | Y = 2 | Y = 3 | |
| X = 1 | 0.2 | 0.1 | 0.1 |
| X = 2 | 0.1 | 0.2 | 0.3 |
기대값:
- \( E(X) = (1)(0.4) + (2)(0.6) = 1.6 \)
- \( E(Y) = (1)(0.3) + (2)(0.3) + (3)(0.4) = 2.1 \)
공분산 계산
- \( E(XY) \) 항목별로:
- \( (1)(1)(0.2) = 0.2 \)
- \( (1)(2)(0.1) = 0.2 \)
- \( (1)(3)(0.1) = 0.3 \)
- \( (2)(1)(0.1) = 0.2 \)
- \( (2)(2)(0.2) = 0.8 \)
- \( (2)(3)(0.3) = 1.8 \)
총합:
- \( E(XY) = 0.2 + 0.2 + 0.3 + 0.2 + 0.8 + 1.8 = 3.5 \)
공분산 재계산:
- \( Cov(X, Y) = E(XY) - E(X)E(Y) = 3.5 - (1.6)(2.1) = 3.5 - 3.36 = 0.14 \)
상관계수:
- \( \rho_{XY} = \frac{0.14}{\sqrt{0.24 \cdot 0.69}} = \frac{0.14}{\sqrt{0.1656}} = \frac{0.14}{0.407} \approx 0.344 \)
상관계수는 \( \rho_{XY} \approx 0.344 \)입니다. 약한 양의 선형 관계를 나타냅니다.
연습문제
문제 1
다음 결합 확률표에서 \( E[X] \), \( E[Y] \), \( E[XY] \), \( \text{Var}(X) \), \( \text{Var}(Y) \), 그리고 \( \rho_{XY} \)를 계산하세요.
| Y = 1 | Y = 2 | Y = 3 | |
| X = 1 | 0.1 | 0.2 | 0.2 |
| X = 2 | 0.2 | 0.1 | 0.2 |
문제 2
다음 결합 확률표에서 \( X \)와 \( Y \)가 선형 관계인지 확인하세요.
| Y = 1 | Y = 2 | |
| X = 1 | 0.4 | 0.1 |
| X = 2 | 0.2 | 0.3 |
연습문제 답
문제 1: \( E[X] \), \( E[Y] \), \( E[XY] \), \( \text{Var}(X) \), \( \text{Var}(Y) \), \( \rho_{XY} \)
계산
1. \( P(X=1) = 0.1 + 0.2 + 0.2 = 0.5 \), \( P(X=2) = 0.2 + 0.1 + 0.2 = 0.5 \)
\( P(Y=1) = 0.1 + 0.2 = 0.3 \), \( P(Y=2) = 0.2 + 0.1 = 0.3 \), \( P(Y=3) = 0.2 + 0.2 = 0.4 \)
2. 기대값 계산:
- \( E[X] = 1(0.5) + 2(0.5) = 1.5 \)
- \( E[Y] = 1(0.3) + 2(0.3) + 3(0.4) = 2.1 \)
- \( E[XY] = (1)(1)(0.1) + (1)(2)(0.2) + (1)(3)(0.2) + (2)(1)(0.2) + (2)(2)(0.1) + (2)(3)(0.2) \)
= \( 0.1 + 0.4 + 0.6 + 0.2 + 0.4 + 1.2 = 2.9 \)
3. 분산 계산:
- \( E[X^2] = (1^2)(0.5) + (2^2)(0.5) = 0.5 + 2 = 2.5 \)
- \( \text{Var}(X) = E[X^2] - [E[X]]^2 = 2.5 - 1.5^2 = 2.5 - 2.25 = 0.25 \)
- \( E[Y^2] = (1^2)(0.3) + (2^2)(0.3) + (3^2)(0.4) = 0.3 + 1.2 + 3.6 = 5.1 \)
- \( \text{Var}(Y) = E[Y^2] - [E[Y]]^2 = 5.1 - 2.1^2 = 5.1 - 4.41 = 0.69 \)
4. 상관계수 계산:
- \( \text{Cov}(X, Y) = E[XY] - E[X]E[Y] = 2.9 - (1.5)(2.1) = 2.9 - 3.15 = -0.25 \)
- \( \rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var}(Y)}} = \frac{-0.25}{\sqrt{0.25 \cdot 0.69}} = \frac{-0.25}{0.415} \approx -0.602 \)
# R code
# 데이터 정의
data <- matrix(c(0.1, 0.2, 0.2, 0.2, 0.1, 0.2), nrow = 2, byrow = TRUE)
rownames(data) <- c("X=1", "X=2")
colnames(data) <- c("Y=1", "Y=2", "Y=3")
# 기대값 계산
E_X <- sum(rowSums(data) c(1, 2))
E_Y <- sum(colSums(data) c(1, 2, 3))
E_XY <- sum(data outer(c(1, 2), c(1, 2, 3)))
# 분산 및 공분산
Var_X <- sum(rowSums(data) c(1, 2)^2) - E_X^2
Var_Y <- sum(colSums(data) c(1, 2, 3)^2) - E_Y^2
Cov_XY <- E_XY - E_X E_Y
# 상관계수
rho_XY <- Cov_XY / sqrt(Var_X Var_Y)
rho_XY# Python code
import numpy as np
# 데이터 정의
data = np.array([[0.1, 0.2, 0.2], [0.2, 0.1, 0.2]])
X_vals = np.array([1, 2])
Y_vals = np.array([1, 2, 3])
# 기대값 계산
P_X = data.sum(axis=1)
P_Y = data.sum(axis=0)
E_X = (X_vals P_X).sum()
E_Y = (Y_vals P_Y).sum()
E_XY = (data np.outer(X_vals, Y_vals)).sum()
# 분산 및 공분산
Var_X = (X_vals2 P_X).sum() - E_X2
Var_Y = (Y_vals2 P_Y).sum() - E_Y2
Cov_XY = E_XY - E_X E_Y
# 상관계수
rho_XY = Cov_XY / np.sqrt(Var_X Var_Y)
rho_XY
문제 2: 선형 관계 여부 확인
상관계수 계산
1. \( P(X=1) = 0.5 \), \( P(X=2) = 0.5 \), \( P(Y=1) = 0.6 \), \( P(Y=2) = 0.4 \)
- \( E[X] = 1(0.5) + 2(0.5) = 1.5 \)
- \( E[Y] = 1(0.6) + 2(0.4) = 1.4 \)
2. \( E[XY] = (1)(1)(0.4) + (1)(2)(0.1) + (2)(1)(0.2) + (2)(2)(0.3) = 0.4 + 0.1 + 0.2 + 1.2 = 1.9 \)
3. \( E[X^2] = (1^2)(0.5) + (2^2)(0.5) = 0.5 + 2 = 2.5 \), \( \text{Var}(X) = 2.5 - 1.5^2 = 0.25 \)
\( E[Y^2] = (1^2)(0.6) + (2^2)(0.4) = 0.6 + 1.6 = 2.2 \), \( \text{Var}(Y) = 2.2 - 1.4^2 = 0.24 \)
4. \( \text{Cov}(X, Y) = E[XY] - E[X]E[Y] = 1.9 - (1.5)(1.4) = 1.9 - 2.1 = -0.2 \)
5. \( \rho_{XY} = \frac{-0.2}{\sqrt{0.25 \cdot 0.24}} = \frac{-0.2}{0.245} \approx -0.816 \)
결론:
상관계수 \( \rho_{XY} \approx -0.816 \), 강한 음의 선형 관계를 가짐.