베이지안 정리

다음 내용은 '패턴 인식과 머신러닝' 책 내용을 정리한 것입니다.

 

확률의 법칙 (X와 Y는 확률변수이다)

- 합의 법칙

 

 

 

- 곱의 법칙 :

* P(X|Y) 는 조건부 확률(Conditional probability) 인데, 'Y가 주어졌을 경우 X의 확률'이라고 읽을 수 있다.

* P(X,Y) = P(Y,X) s 는 X,Y사건이 동시에 일어날 확률이므로 대칭하다. 이로부터 확률 간의 관계식을 도출해 낼 수 있는데,

이 식이 베이지안 정리(Baye's theorem)이다. 합의 법칙을 사용해서 베이지안 정리의 분모를 분자에 있는 항들로 표현할 수 있다.

이렇게 도출한 식에 예시를 들어 설명해보자.

 

한 개의 빨간색 상자와 한 개의 파란색 상자가 있고, 빨간색 상자에는 두 개의 사과와 여섯 개의 오렌지, 그리고 파란색 상자 안에는 세 개의 사과와 한 개의 오렌지가 들어있다고 상상해 보자.

 

사진 설명을 입력하세요.

 

상자의 확률 변수 B

과일의 확률 변수 F 라고하고,

빨간색 상자가 나올 확률은 P(r) = 4/10, 파란색 상자가 나올 확률은 P(b) = 6/10 이라고 가정한다.

 

어떤 한 상자를 선택했는데 그것이 파란색 상자였다고 해보자. 그러면 그 상황하에서 사과를 고를 확률은

P(F=a|B=b) = 3/4 이다. 이와 같은 방법으로 상자가 주어졌을 때 사과 또는 오렌지를 선택할 확률 네 가지를 다음과 같이 적을 수 있다.

확률의 합의 법칙과 곱의 법칙을 적용하여 사과를 고를 전체 확률을 계산하면 다음과 같다.

어떤 한 종류의 과일을 선택했는데 그것이 오렌지고, 이 오렌지가 어떤 상자에서 나왔는지를 계산하려면, 과일이 주어졌을 때 고른 상자가 어떤 것이었는지에 대한 조건부 확률을 계산해야한다.

하지만 위의 식은 상자가 주어졌을 때 과일에 대한 조건부 확률만을 알려준다.

* 베이지안 정리를 적용하여 조건부 확률을 뒤집으면 이를 해결할 수 있다.

합의 법칙에 따라 p(B=b|F=o) = 1-2/3 = 1/3 이 된다.

 

베이지안 정리를 다음과 같이 해석할 수 있다.

* 만약 어떤 과일이 선택되었는지를 알기 전에 어떤 박스를 선택했냐고 묻는다면 그 확률은 p(B)일 것이다.

이를 사전확률(prior probability)이라고 부른다.

왜냐하면 어떤 과일이 선택되었는지 관찰하기 '전'의 확률이기 때문이다.

*선택된 과일이 오렌지라는 것을 알게 된다면 베이지안 정리를 활용하여 p(B|F)를 구할 수 있다. 이는 사후확률(posterior probability)이다.

사건 F를 관측한 '후'의 확률이기 때문이다.