1.5 Probability -BAYES’ THEOREM

 

* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 "PROBABILITY AND STATISTICAL INFERENCE 9th Edition"에서 발췌한 것입니다. 이 자료들은 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원본을 참고하여 확인하시기 바랍니다

베이즈 정리 (Bayes' Theorem)

베이즈 정리는 조건부 확률과 전체 확률의 법칙을 활용하여 사전 확률을 사후 확률로 갱신하는 정리입니다. 베이즈 정리는 특히 새로운 데이터나 증거가 관찰되었을 때, 기존의 확률을 업데이트하는 데 유용합니다.

1. 베이즈 정리의 공식

$B_1, B_2, \dots, B_m$이 서로 배타적(mutually exclusive)이고 포괄적(exhaustive)인 사건들일 때, 사건 A가 발생한 후 특정 사건 $B_{k}$가 발생할 조건부 확률 P( $B_{k}$ | A)는 다음과 같이 주어집니다:

$P( B_{k} | A) = \frac{P(B_{k}) P(A | B_{k} )}{\sum_{i=1}^m P(B_{i}) P(A |B_{i})}, \quad k = 1, 2, \dots, m$

여기서:

• P($B_{k}$): 사건 $B_{k}$ 의 사전 확률 (prior probability)
• P(A |$B_{k}$) : 사건 A가 발생했을 때 $B_{k}$의 가능도 (likelihood)
• P( $B_{k}$| A): 사건 A가 발생한 후 $B_{k}$가 발생할 확률 (사후 확률, posterior probability)
• ${\sum_{i=1}^m P(B_{i}) P(A |B_{i})}$ : 전체 확률의 법칙에 의해 계산된 사건 A의 전체 확률
  
  

2. 전체 확률의 법칙 (Law of Total Probability)

베이즈 정리의 분모에 있는 값 P(A)는 전체 확률의 법칙으로 계산됩니다.

P(A) = ${\sum_{i=1}^m P(B_{i}) P(A |B_{i})}$

이는 $B_1, B_2, \dots, B_m$이 서로 배타적이고 표본공간 S를 완전히 포괄할 때, A가 $B_{i}$중 하나에 의해 발생할 확률을 모두 합친 것입니다.

3. 베이즈 정리의 이해

베이즈 정리는 다음과 같은 과정을 통해 확률을 갱신합니다:

1. 사전 확률 P($B_{k}$) : 사건 $B_{k}$가 새로운 정보를 관찰하기 전의 확률입니다.
2. 가능도 P(A|$B_{k}$) : 주어진 사건 $B_{k}$ 에서 사건 A가 발생할 확률입니다.
3. 사후 확률 P($B_{k}$| A) : 사건 A가 관찰된 후, 사건 $B_{k}$가 발생할 확률입니다.
   
   

4. 예제: 베이즈 정리를 이용한 공 뽑기 문제

문제 설정

세 개의 그릇이 있고 각 그릇에는 빨간색 공과 흰색 공이 다른 비율로 들어 있습니다:

• $B_{1}$ : 빨간색 2개, 흰색 4개
• $B_{2}$ : 빨간색 1개, 흰색 2개
• $B_{3}$ : 빨간색 5개, 흰색 4개

각 그릇이 선택될 확률은 다음과 같습니다:

$P(B_1) = \frac{1}{3}, \quad P(B_2) = \frac{1}{6}, \quad P(B_3) = \frac{1}{2}$

어느 그릇 하나를 무작위로 선택한 후, 빨간색 공 R을 뽑았을 때, 그릇 $B_{1}$에서 공이 나왔을 확률 P($B_{1}$|R)를 구합니다.

풀이

빨간색 공이 나올 확률 P(R) (전체 확률의 법칙 이용):

$P(R) = P(B_1) P(R| B_1) + P(B_2) P(R | B_2) + P(B_3) P(R | B_3)$

여기서, 각 가능도 P(R|$B_{k}$)는 그릇에서 빨간색 공이 나올 확률입니다:

• $P(R|B_1) = \frac{2}{6} = \frac{1}{3}$
• $(R|B_2) = \frac{1}{3}$
• $P(R|B_3) = \frac{5}{9}$

이를 대입하면:

P(R) = $\frac{2}{18} + \frac{1}{18} + \frac{5}{18} = \frac{8}{18} = \frac{4}{9}$

 

베이즈 정리를 이용하여 P($B_{1}$|R) 계산

$P(B_1 | R) = \frac{P(B_1) P(R | B_1)}{P(R)}$

여기서:

• $P(B_1) = \frac{1}{3}$
• $P(R | B_1) = \frac{1}{3}$
• $P(R) = \frac{4}{9}$

대입하면:

$P(B_1 | R) = \frac{\frac{1}{3} \cdot \frac{1}{3}}{\frac{4}{9}}$

분모와 분자를 정리하면:

$P(B_1 | R) = \frac{\frac{1}{9}}{\frac{4}{9}} = \frac{1}{4}$

 

결론

빨간색 공이 나왔을 때, 그 공이 $B_{1}$에서 나왔을 확률 P($B_{1}$|R)는:

P($B_{1}$|R) = $\frac{1}{4}$

동일한 방법으로 P($B_{2}$|R)와 P($B_{3}$|R)도 구할 수 있습니다.

5. 베이즈 정리의 응용

베이즈 정리는 다음과 같은 분야에서 널리 사용됩니다:

1. 의학 진단: 특정 질병의 진단 확률 업데이트
2. 결함 감지: 시스템에서 결함이 발생했을 가능성 계산
3. 기계 학습: 나이브 베이즈 분류기 등 확률 모델에 활용
4. 신뢰성 평가: 데이터에 기반한 시스템 신뢰도 평가

베이즈 정리를 통해 확률을 데이터와 함께 점진적으로 업데이트할 수 있으므로, 새로운 정보가 추가될 때마다 의사 결정을 개선할 수 있습니다.