* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다
1. 이론 정리
1) 개념 설명
두 확률변수의 변환은 \(X\)와 \(Y\)라는 두 확률변수를 특정 함수 \(Z = g(X, Y)\)에 따라 변환했을 때 \(Z\)의 확률분포를 구하는 방법을 다룹니다.
이 과정은 두 확률변수의 결합 확률분포 \(f_{X,Y}(x, y)\)를 활용하여 새로운 확률변수의 분포를 계산합니다.
2) 정의 및 이론
*자코비안 사용이유 - 보충 설명 참조
1. 결합 밀도 함수의 변환
- 두 확률변수 \(X\)와 \(Y\)의 결합 확률밀도 함수 \(f_{X,Y}(x, y)\)가 주어졌을 때, 새로운 변수 \(U = g_1(X, Y)\), \(V = g_2(X, Y)\)를 정의할 수 있습니다.
- 새로운 확률변수 \(U\)와 \(V\)의 결합 밀도 함수 \(f_{U,V}(u, v)\)는 다음과 같습니다:
\[f_{U,V}(u, v) = f_{X,Y}(x, y) \cdot \left| J \right|,\]
여기서 \(J\)는 자코비안(Jacobian) 행렬의 절댓값입니다:
\[
J = \frac{\partial(x, y)}{\partial(u, v)} =
\begin{vmatrix}
\frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\
\frac{\partial y}{\partial u} & \frac{\partial y}{\partial v}
\end{vmatrix}.
\]
2. 변환 과정
- 1단계: 새로운 변수 \(U, V\)를 원래 변수 \(X, Y\)로 표현합니다.
- 2단계: 자코비안 \(J\) 계산.
- 3단계: 기존 결합 확률밀도 \(f_{X,Y}(x, y)\)를 사용하여 \(f_{U,V}(u, v)\)를 구합니다.
3. 독립성 유지
- 만약 \(X\)와 \(Y\)가 독립이라면, 새로운 변수 \(U\)와 \(V\)도 특정 조건하에 독립성을 유지할 수 있습니다.
3) 증명: 자코비안 행렬의 사용
1. \(P(U \leq u, V \leq v) = P(X \leq x, Y \leq y)\).
2. \(F_{U,V}(u, v) = F_{X,Y}(x, y)\).
3. 미분하여 \(f_{U,V}(u, v)\)를 유도:
\[f_{U,V}(u, v) = f_{X,Y}(x, y) \cdot |J|.\]
2. 예제
1) 문제
1. \(X \sim U(0,1), Y \sim U(0,1)\), \(U = X + Y, V = X - Y\)일 때, \(U\)와 \(V\)의 결합 확률밀도함수를 구하시오.
2. \(X \sim N(0,1), Y \sim N(0,1)\), \(U = X^2, V = Y^2\)일 때 \(U, V\)의 결합 확률밀도함수를 구하시오.
3. \(X \sim Exp(1), Y \sim Exp(1)\), \(U = X+Y, V = X/(X+Y)\)일 때, \(U, V\)의 결합 확률밀도함수를 구하시오.
2) 답
1) \(X \sim U(0,1)\), \(Y \sim U(0,1)\), \(U = X + Y\), \(V = X - Y\)의 결합 확률밀도함수
변환 과정
1. \(U = X + Y\), \(V = X - Y\)에서 \(X, Y\)를 \(U, V\)로 표현하면:
\[
X = \frac{U + V}{2}, \quad Y = \frac{U - V}{2}.
\]
따라서, 변환의 자코비안은:
\[
J = \begin{vmatrix}
\frac{\partial X}{\partial U} & \frac{\partial X}{\partial V} \\
\frac{\partial Y}{\partial U} & \frac{\partial Y}{\partial V}
\end{vmatrix}
= \begin{vmatrix}
\frac{1}{2} & \frac{1}{2} \\
\frac{1}{2} & -\frac{1}{2}
\end{vmatrix} = -\frac{1}{2}.
\]
따라서, \(|J| = \frac{1}{2}\).
2. \(X, Y \sim U(0,1)\)인 경우 \(U\)와 \(V\)의 정의역은 다음과 같습니다.
- \(0 \leq X = \frac{U+V}{2} \leq 1\)
- \(0 \leq Y = \frac{U-V}{2} \leq 1\)
이를 만족하는 \(U, V\)의 범위는 다음과 같습니다:
\[0 \leq U \leq 2, \quad -U \leq V \leq U.\] <--- 보충설명 참조
3. \(U, V\)의 결합 확률밀도함수는 다음과 같습니다.
\[
f_{U,V}(u,v) = f_{X,Y}\left(\frac{u+v}{2}, \frac{u-v}{2}\right) \cdot |J|,
\]
여기서 \(f_{X,Y}(x,y) = 1\) (\(x, y \in [0,1]\))이므로:
\[
f_{U,V}(u,v) =
\begin{cases}
\frac{1}{2}, & 0 \leq u \leq 2, -u \leq v \leq u, \\
0, & \text{그 외}.
\end{cases}
\]
2) \(X \sim N(0,1)\), \(Y \sim N(0,1)\), \(U = X^2\), \(V = Y^2\)의 결합 확률밀도함수
변환 과정
1. \(U = X^2\), \(V = Y^2\)이므로 \(X = \pm\sqrt{U}\), \(Y = \pm\sqrt{V}\).
2. 자코비안:
\[
J = \begin{vmatrix}
\frac{\partial X}{\partial U} & 0 \\
0 & \frac{\partial Y}{\partial V}
\end{vmatrix} = \begin{vmatrix}
\frac{1}{2\sqrt{U}} & 0 \\
0 & \frac{1}{2\sqrt{V}}
\end{vmatrix} = \frac{1}{4\sqrt{UV}}.
\]
3. \(X, Y\)가 서로 독립이므로:
\[
f_{X,Y}(x, y) = f_X(x) f_Y(y),
\]
\(f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}\), \(f_Y(y) = \frac{1}{\sqrt{2\pi}} e^{-y^2/2}\).
4. 따라서 \(U, V\)의 결합 확률밀도함수는:
\[
f_{U,V}(u,v) = \frac{1}{4\sqrt{uv}} \cdot \frac{1}{2\pi} e^{-(\sqrt{u} + \sqrt{v})^2 / 2}.
\]
3) \(X \sim Exp(1)\), \(Y \sim Exp(1)\), \(U = X+Y\), \(V = \frac{X}{X+Y}\)의 결합 확률밀도함수
변환 과정
1. \(U = X+Y\), \(V = \frac{X}{X+Y}\)에서 \(X, Y\)를 \(U, V\)로 표현하면:
\[
X = UV, \quad Y = U(1-V).
\]
2. 자코비안:
\[
J = \begin{vmatrix}
\frac{\partial X}{\partial U} & \frac{\partial X}{\partial V} \\
\frac{\partial Y}{\partial U} & \frac{\partial Y}{\partial V}
\end{vmatrix}
= \begin{vmatrix}
V & U \\
1-V & -U
\end{vmatrix} = -U.
\]
따라서, \(|J| = U\).
3. \(X, Y \sim Exp(1)\)이므로:
\[
f_{X,Y}(x,y) = e^{-x} e^{-y} = e^{-(x+y)} = e^{-u}.
\]
4. 따라서, \(U, V\)의 결합 확률밀도함수는:
\[
f_{U,V}(u,v) = f_{X,Y}(uv, u(1-v)) \cdot |J| = e^{-u} \cdot u.
\]
정의역은:
\[
u > 0, \quad 0 < v < 1.
\]
결론적으로:
\[
f_{U,V}(u,v) =
\begin{cases}
u e^{-u}, & u > 0, \, 0 < v < 1, \\
0, & \text{그 외}.
\end{cases}
\]
3. 연습문제
1) 문제
1. \(X \sim U(0,2), Y \sim U(0,3)\), \(U = X+Y, V = X-Y\). \(U, V\)의 결합 확률밀도함수를 구하시오.
2. \(X \sim N(2,1), Y \sim N(3,2)\), \(U = X+Y, V = X-Y\). \(U, V\)의 결합 확률밀도함수를 구하시오.
3. \(X \sim Exp(2), Y \sim Exp(3)\), \(U = X+Y, V = X/(X+Y)\). \(U, V\)의 결합 확률밀도함수를 구하시오.
2) 답
1. \(X \sim U(0,2)\), \(Y \sim U(0,3)\), \(U = X+Y\), \(V = X-Y\)
변환 과정
1) \(U = X+Y\), \(V = X-Y\)에서 \(X, Y\)를 \(U, V\)로 표현하면:
\[
X = \frac{U+V}{2}, \quad Y = \frac{U-V}{2}.
\]
변환의 자코비안은:
\[
J = \begin{vmatrix}
\frac{\partial X}{\partial U} & \frac{\partial X}{\partial V} \\
\frac{\partial Y}{\partial U} & \frac{\partial Y}{\partial V}
\end{vmatrix}
= \begin{vmatrix}
\frac{1}{2} & \frac{1}{2} \\
\frac{1}{2} & -\frac{1}{2}
\end{vmatrix} = -\frac{1}{2}.
\]
따라서 \(|J| = \frac{1}{2}\).
2) \(X \sim U(0,2)\), \(Y \sim U(0,3)\)이므로 \(X, Y\)는 독립이며:
\[
f_{X,Y}(x, y) =
\begin{cases}
\frac{1}{6}, & 0 \leq x \leq 2, \, 0 \leq y \leq 3, \\
0, & \text{그 외}.
\end{cases}
\]
3) 변환 후 정의역:
\[
0 \leq X = \frac{U+V}{2} \leq 2, \quad 0 \leq Y = \frac{U-V}{2} \leq 3.
\]
이를 \(U, V\)에 대해 풀면:
\[
0 \leq \frac{U+V}{2} \leq 2 \implies -U \leq V \leq 4-U,
\]
\[
0 \leq \frac{U-V}{2} \leq 3 \implies U-6 \leq V \leq U.
\]
두 범위를 결합하면 \(U, V\)의 정의역은:
\[
0 \leq U \leq 5, \quad \max(-U, U-6) \leq V \leq \min(4-U, U).
\]
4) \(U, V\)의 결합 확률밀도함수는:
\[
f_{U,V}(u,v) = f_{X,Y}\left(\frac{u+v}{2}, \frac{u-v}{2}\right) \cdot |J| = \frac{1}{6} \cdot \frac{1}{2} = \frac{1}{12},
\]
정의역에서:
\[
f_{U,V}(u,v) =
\begin{cases}
\frac{1}{12}, & 0 \leq U \leq 5, \, \max(-U, U-6) \leq V \leq \min(4-U, U), \\
0, & \text{그 외}.
\end{cases}
\]
2. \(X \sim N(2,1)\), \(Y \sim N(3,2)\), \(U = X+Y\), \(V = X-Y\)
변환 과정
1) \(U = X+Y\), \(V = X-Y\)에서 \(X, Y\)를 \(U, V\)로 표현하면:
\[
X = \frac{U+V}{2}, \quad Y = \frac{U-V}{2}.
\]
변환의 자코비안은 \(|J| = \frac{1}{2}\).
2) \(X \sim N(2,1)\), \(Y \sim N(3,2)\)이므로 \(X, Y\)는 독립이며:
\[
f_{X,Y}(x, y) = f_X(x)f_Y(y),
\]
\[
f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-(x-2)^2 / 2}, \quad f_Y(y) = \frac{1}{\sqrt{4\pi}} e^{-(y-3)^2 / 4}.
\]
3) \(U, V\)의 결합 확률밀도함수는:
\[
f_{U,V}(u,v) = f_{X,Y}\left(\frac{u+v}{2}, \frac{u-v}{2}\right) \cdot |J|,
\]
\[
f_{U,V}(u,v) = \frac{1}{2} \cdot \frac{1}{\sqrt{2\pi}} e^{-\left(\frac{u+v}{2} - 2\right)^2 / 2} \cdot \frac{1}{\sqrt{4\pi}} e^{-\left(\frac{u-v}{2} - 3\right)^2 / 4}.
\]
3. \(X \sim Exp(2)\), \(Y \sim Exp(3)\), \(U = X+Y\), \(V = \frac{X}{X+Y}\)
변환 과정
1) \(U = X+Y\), \(V = \frac{X}{X+Y}\)에서 \(X, Y\)를 \(U, V\)로 표현하면:
\[
X = UV, \quad Y = U(1-V).
\]
2) 자코비안:
\[
J = \begin{vmatrix}
\frac{\partial X}{\partial U} & \frac{\partial X}{\partial V} \\
\frac{\partial Y}{\partial U} & \frac{\partial Y}{\partial V}
\end{vmatrix} = \begin{vmatrix}
V & U \\
1-V & -U
\end{vmatrix} = -U.
\]
따라서 \(|J| = U\).
3) \(X \sim Exp(2)\), \(Y \sim Exp(3)\)이므로:
\[
f_{X,Y}(x, y) = 6 e^{-2x} e^{-3y}, \quad x, y > 0.
\]
4) \(U, V\)의 결합 확률밀도함수는:
\[
f_{U,V}(u,v) = f_{X,Y}(uv, u(1-v)) \cdot |J| = 6 e^{-2uv} e^{-3u(1-v)} \cdot u.
\]
정의역은:
\[
u > 0, \quad 0 < v < 1.
\]
따라서:
\[
f_{U,V}(u,v) =
\begin{cases}
6u e^{-2uv - 3u(1-v)}, & u > 0, \, 0 < v < 1, \\
0, & \text{그 외}.
\end{cases}
\]
# R code
# 문제 1
u <- seq(0, 5, length=100)
v <- seq(-2, 2, length=100)
f_UV <- matrix(1/6, nrow=length(u), ncol=length(v))
# 문제 2
library(MASS)
mu <- c(5, 0)
sigma <- matrix(c(5, 1, 1, 5), 2)
f_UV <- mvrnorm(1000, mu, sigma)
# 문제 3
u <- seq(0.01, 10, length=100)
v <- seq(0, 1, length=100)
f_UV <- 6 * u * exp(-3 * u)# Python code
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import norm, expon
# 문제 1
u = np.linspace(0, 5, 100)
v = np.linspace(-2, 2, 100)
f_UV = 1 / 6
# 문제 2
mean = [5, 0]
cov = [[5, 1], [1, 5]]
samples = np.random.multivariate_normal(mean, cov, 1000)
# 문제 3
u = np.linspace(0.01, 10, 100)
v = np.linspace(0, 1, 100)
f_UV = 6 * u * np.exp(-3 * u)
plt.plot(u, f_UV)
plt.title("PDF of U, V")
plt.show()Example 5.2-4: F-분포와 자코비안
1. F-분포의 정의
F-분포는 두 독립적인 카이제곱 분포 확률변수의 비율로 정의됩니다.
- \(U \sim \chi^2_{r_1}\) (자유도 \(r_1\))
- \(V \sim \chi^2_{r_2}\) (자유도 \(r_2\))
- F-분포 확률변수 \(F\)는 다음과 같이 표현됩니다:
\[F = \frac{U / r_1}{V / r_2}.\]
2. 결합 확률밀도 함수
변수 \(U\)와 \(V\)의 결합 확률밀도 함수는 다음과 같습니다:
\[g(u, v) = \frac{1}{\Gamma(r_1/2) 2^{r_1/2}} u^{r_1/2 - 1} e^{-u/2} \cdot \frac{1}{\Gamma(r_2/2) 2^{r_2/2}} v^{r_2/2 - 1} e^{-v/2}.\]
3. 변수 변환 과정
1. \(X = \frac{U}{r_1}, \quad Y = \frac{V}{r_2}\)로 변환.
- 이때 \(F = \frac{X}{Y}, \quad Y = Y\).
2. 변환의 자코비안 계산:
- 변환 행렬:
\[
J = \begin{vmatrix}
\frac{\partial X}{\partial F} & \frac{\partial X}{\partial Y} \\
\frac{\partial Y}{\partial F} & \frac{\partial Y}{\partial Y}
\end{vmatrix} = \begin{vmatrix}
Y & F \\
0 & 1
\end{vmatrix}.
\]
- 행렬식:
\[
|J| = Y.
\]
3. 새로운 변수의 결합 확률밀도 함수:
\[h(f, y) = g(x, y) \cdot |J| = \frac{1}{\Gamma(r_1/2) 2^{r_1/2}} (r_1 f y)^{r_1/2 - 1} e^{-r_1 fy/2} \cdot \frac{1}{\Gamma(r_2/2) 2^{r_2/2}} (r_2 y)^{r_2/2 - 1} e^{-r_2 y/2} \cdot y.\]
4. \(Y\)를 적분하여 \(F\)의 주변 확률밀도 함수를 구하면:
\[f_F(f) = \frac{\Gamma((r_1 + r_2)/2)}{\Gamma(r_1/2)\Gamma(r_2/2)} \left(\frac{r_1}{r_2}\right)^{r_1/2} \frac{f^{r_1/2 - 1}}{\left(1 + \frac{r_1}{r_2}f\right)^{(r_1 + r_2)/2}}.\]
Box–Muller Transformation: 표준 정규분포 생성
1. 정의
Box–Muller 변환은 독립적 균등분포 \(U_1, U_2 \sim U(0,1)\)를 사용해 표준 정규분포 \(Z_1, Z_2 \sim N(0,1)\)를 생성하는 방법입니다.
2. 변환 과정
1. 균등분포에서 다음 변환식을 적용:
\[
Z_1 = \sqrt{-2 \ln U_1} \cos(2\pi U_2), \quad Z_2 = \sqrt{-2 \ln U_1} \sin(2\pi U_2).
\]
2. \(Z_1\)과 \(Z_2\)는 독립적인 표준 정규분포를 따릅니다.
자코비안의 사용 이유
1. 확률밀도 함수 보정
확률변수 변환에서, 확률밀도 함수는 변환 과정에서 "공간 왜곡"에 따라 스케일이 변합니다.
자코비안은 이 변화를 보정하여, 변환 전후에도 확률의 총합(전체 면적)이 \(1\)이 되도록 보장합니다.
2. 왜 자코비안을 사용하는가?
1. F-분포:
- \(X = \frac{U}{r_1}, Y = \frac{V}{r_2}\)에서 \(F = \frac{X}{Y}, Y\)로 변환 시, 확률 공간의 비율 관계가 변형됩니다.
- 자코비안 \(J = Y\)를 사용해, 확률 밀도가 올바르게 변환됩니다.
2. Box–Muller 변환:
- 균등분포는 직사각형 공간을 가지며, 이를 정규분포의 원형 공간으로 변환합니다.
- 자코비안은 이 "좌표 체계의 변화"를 보정합니다.
비유로 이해하기
- F-분포: \(X, Y\)라는 "직사각형 공간"이 \(F, Y\)라는 "비율 기반 공간"으로 변환됩니다. 자코비안은 이 변화에서 확률의 비율을 보정.
- Box–Muller: 균등분포의 평평한 면을 정규분포의 원형 구조로 변환할 때, 확률 공간의 크기를 유지하기 위해 자코비안이 필요.
보충설명 1
자코비안의 본질적인 역할
1. 확률은 항상 전체합이 1이어야 한다.
- 확률 분포를 변환하더라도 전체 확률(면적, 부피 등)은 항상 1로 유지되어야 합니다.
- 변환 과정에서 확률 공간(즉, 좌표 체계)의 크기나 모양이 바뀌기 때문에, 이를 보정하는 도구가 필요합니다.
2. 자코비안은 "변환 후 공간 크기 변화"를 보정한다.
- 자코비안은 변환 과정에서 확률 공간의 "스케일 변화"를 계산하여 새로운 확률밀도 함수를 올바르게 조정합니다.
비유를 통한 이해: 자코비안이 하는 일
1. 변환 전후 공간 크기 비교
- 원래 공간: 원래 좌표 (\(X, Y\))에서 확률이 균등하게 분포된다고 가정합니다.
- 변환된 공간: 새로운 좌표 (\(U, V\))로 변환하면, 공간의 모양과 크기가 달라집니다.
예를 들어:
- 원래 \(1 \times 1\) 정사각형 공간이 있었는데, 변환 후에는 사선으로 기울어진 마름모꼴 공간이 되었다고 합시다.
- 확률을 보존하려면 새 공간(마름모꼴)의 각 부분에서 "확률밀도"를 조정해야 합니다.
2. 자코비안의 역할
- 자코비안은 변환된 공간에서 "한 점의 크기 변화"를 나타냅니다.
- 예를 들어, 변환 후 각 점의 위치에서 크기가 2배로 늘어났다면, 확률밀도도 2배로 줄여야 전체 확률이 1로 유지됩니다.
수학적으로 간단히
확률밀도 함수는 변환 후 다음과 같이 보정됩니다:
\[f_{U,V}(u, v) = f_{X,Y}(x, y) \cdot \left| J \right|,\]
여기서 \(J\)는 자코비안이고, 좌표 변환에서 미분 행렬의 행렬식을 계산한 값입니다.
핵심 요약
- 자코비안은 변환 과정에서 확률 공간의 크기가 늘어나거나 줄어드는 정도를 계산합니다.
- 이를 통해, 변환 후에도 확률의 총합이 1로 유지되도록 확률밀도 함수를 조정합니다.
비유하자면:
- 자코비안은 "확률 공간이 얼마나 찌그러지거나 늘어났는지"를 알려주는 도구이며, 확률의 균형을 유지하기 위한 "보정 장치"입니다.
보충설명 2
1. 주어진 변환식과 조건
변환식은 다음과 같습니다:
\[X = \frac{U + V}{2}, \quad Y = \frac{U - V}{2}.\]
그리고 \(X, Y\)는 각각 \(0 \leq X \leq 1\), \(0 \leq Y \leq 1\)을 만족합니다.
2. \(U\)의 범위 도출
\[U = X + Y.\]
- \(0 \leq X \leq 1\) 및 \(0 \leq Y \leq 1\)이므로:
\[0 \leq U = X + Y \leq 1 + 1 = 2.\]
따라서 \(U\)의 범위는:
\[0 \leq U \leq 2.\]
3. \(V\)의 범위 도출
\[V = X - Y.\]
- \(0 \leq X \leq 1\), \(0 \leq Y \leq 1\)이므로:
- \(X - Y \geq -1\) (최소값)
- \(X - Y \leq 1\) (최대값)
\[-1 \leq V \leq 1.\]
4. \(V\)의 정의역을 \(U\)와의 관계로 표현
조건 \(X = \frac{U + V}{2}\), \(Y = \frac{U - V}{2}\)를 사용해 \(V\)의 범위를 \(U\)와의 관계로 정리합니다:
1. \(0 \leq X = \frac{U + V}{2} \leq 1\):
\[0 \leq U + V \leq 2.\]
이를 \(V\)에 대해 정리하면:
\[V \leq 2 - U.\]
2. \(0 \leq Y = \frac{U - V}{2} \leq 1\):
\[0 \leq U - V \leq 2.\]
이를 \(V\)에 대해 정리하면:
\[V \geq -U.\]
5. 최종 정의역
위 두 조건을 결합하면:
\[-U \leq V \leq 2 - U.\]
따라서, \(U\)와 \(V\)의 정의역은:
\[0 \leq U \leq 2, \quad -U \leq V \leq U.\]
핵심 요약
1. \(U\): \(X + Y\)로 표현되므로 \(0 \leq U \leq 2\).
2. \(V\): 변환식에서 유도하면 \(-U \leq V \leq U\).
3. 간단히 변환식과 \(X, Y\)의 범위를 수학적으로 정리하면 \(U, V\)의 범위를 쉽게 확인할 수 있습니다.
