베이즈 확률표 Bayesian probability table - 1

베이즈Bayesian 분석방법에서는 구하고자하는 parameter에 불확실성이 있다고 보지만, frequentist의 전통적인 통계분석방법에서는 이 parameter는 고정되어있지만 알려지지 않은 값이라고 본다. Parameter를 구하기 위하여 전통적인 통계분석방법에서는 sampling을 (무한히) 반복한 sampling distribution의 평균과 표준편차 등의 분포를 미리 구해놓고 p값을 구하여 통계분석을 하지만 Bayesian에서는 구하고자 하는 parameter들의 모든 가능한 값에 대한 확률을 모두 구하여 가장 큰 확률을 갖는 parameter를 찾는다.

 

주머니 안에 빨간공과 파란공이 들어있지만 빨간공의 갯수와 파란공의 갯수를 모르지만 총 공의 갯수는 5개라고 가정하자. 이제 주머니 안에서 공을 1개 꺼냈을때 빨간공이 나왔다면 원래 주머니 안에는 빨간공이 몇개들어있을 확률이 가장 큰가를 알아보면

 

원래 주머니 안에 있는 빨간공의 갯수를 $\theta$라고 하고 공을 1개 꺼냈을때 빨간공이 나온 사건을 $D$이라 하자.

원래 주머니 안에 빨간공은 0개부터 5개까지 존재할수 있으므로 이 확률은

$p(\theta = 0) = \frac{1}{6}$

$p(\theta = 1) = \frac{1}{6}$

$p(\theta = 2) = \frac{1}{6}$

$p(\theta = 3) = \frac{1}{6}$

$p(\theta = 4) = \frac{1}{6}$

$p(\theta = 5) = \frac{1}{6}$

이다. 이를 우리는 prior probability라고 부른다.

 

원래 주머니 안에 들어있는 빨간공 갯수의 모든 경우에 대하여 공을 1개 꺼냈을때 빨간공일 확률을 구해보자.

빨간공이 0개 들어있을 경우 공을 1개 꺼냈을때 빨간공일 확률은 0이다. 즉, $p(D=1 \mid \theta=0) = 0$

빨간공이 1개 들어있을 경우 공을 1개 꺼냈을때 빨간공일 확률은 1/5이다. $p(D=1 \mid \theta=1) = \frac{1}{5}$

빨간공이 2개 들어있을 경우 공을 1개 꺼냈을때 빨간공일 확률은 2/5이다. $p(D=1 \mid \theta=2) = \frac{2}{5}$

빨간공이 3개 들어있을 경우 공을 1개 꺼냈을때 빨간공일 확률은 3/5이다. $p(D=1 \mid \theta=3) = \frac{3}{5}$

빨간공이 4개 들어있을 경우 공을 1개 꺼냈을때 빨간공일 확률은 4/5이다. $p(D=1 \mid \theta=4) = \frac{4}{5}$

빨간공이 5개 들어있을 경우 공을 1개 꺼냈을때 빨간공일 확률은 5/5이다. $p(D=1 \mid \theta=5) = \frac{5}{5}$

이를 likelihood라고 부른다.

 

Bayesian theorem으로부터

$$p(\theta \mid D) = \frac{ p(D | \theta) \; p(\theta) } { \sum_{\theta^*}  p(D | \theta^*) \; p(\theta^*)  } \propto p(D | \theta) \; p(\theta)$$

 

$p( \theta)$는 prior, $p(D | \theta) $는 likelihood, $p(\theta | D) $는 posterior이다. posterior는 (prior) x (likelihood)에 비례하고 (prior) x (likelihood)를 모든 $\theta$에 대한 likelihood의 총합으로 나누어주면 이는 posterior와 같다. 이제 Bayesian theorem을 빨간공의 갯수의 확률을 구하는 문제에 적용하여보자.

Prior, likelihood는 이미 앞에서 구하였고, Bayes theorem의 분모 $ \sum_{\theta^*}  p(D | \theta^*) \; p(\theta^*) $는 모든 $\theta$에 대한 (prior) x (likelihood)를 더하면 구할수 있고 그 값은 1/2이다. posterior는 1/2로 (prior) x (likelihood)를 나누면 구할수 있다. posterior 확률의 값을 가능한 모든 parameter $\theta$, 즉 가능한 모든 빨간공의 갯수에 대하여 구하였다. posterior 확률의 값중 빨간공이 5개 들어있을때가 가장 크므로, 빨간공과 파란공이 섞여있는 총 5개의 공이 들어있는 주머니에서 공을 1개 꺼냈을때 빨간공이 나왔다면 이 주머니에는 빨간공이 5개들어있을 확률이 가장 높다는 것을 알수 있다.