베이즈 추론 해석적 해법

베이즈추론(Bayesian inference)를 prior가 확률함수로 주어졌을때 몇가지 경우에 한하여 해석적인 해를 구할수 있다.

 

이항분포(Bionomial distribution)함수는

$$ f(y | \pi) = \left(\begin{array}{c}n\\ y\end{array}\right) \pi^y \left( 1- \pi \right)^{n-y} $$

여기서 y = 1, 2, 3, ..., n 이며 한번 시행할 확률 $\pi$는 고정값이다.

 

같은 이항분포이지만 y는 고정되어 있고 $\pi$가 변함에 따라서 확률값을 계산한다면 이는 likelihood가 된다.

$$ f(y | \pi) = \left(\begin{array}{c}n\\ y\end{array}\right) \pi^y \left( 1- \pi \right)^{n-y} $$

여기서 $0 \leq \pi \leq 1$

 

Posterior $g(\pi | y)$는

$$g(\pi | y) \propto g(\pi) \; f(y | \pi) $$

인데  확률분포함수르 f와 g로 구분하였다. g는 관측되지 않는 확률변수만 포함되었을때 확률분포를 나타내고 f는 관측할수 있는 확률변수가 포함되었을때 확률분포를 나타낸다.

 

$g(\pi | y)$의 정확한 posterior값을 구하기 위해서 상수 k를 나누어 $\int_{-\infty}^{\infty}  g(\pi | y) d\pi = 1$이 되도록 만들어야만 하는데 이 값은 prior를 무엇으로 취하느냐에 따라 달라진다.

$$g(\pi | y) = \frac{1}{k} g(\pi) \; f(y | \pi) $$

여기서 $k = \int_{0} ^{1} g(\pi) f(y | \pi) d \pi$

Uniform Prior

uniform prio는 아래와 같다.

$$ g(\pi) = \begin{cases}1 & 0 \leq \pi \leq 1\\0 & \pi \lt 0, \; \pi \gt 1 \end{cases}$$

이를 위 posterior 확률분포함수에 대입하면

$$g(\pi | y) = \frac{1}{k} \left(\begin{array}{c}n\\ y\end{array}\right) \pi^y \left( 1- \pi \right)^{n-y} $$

여기서 $0 \leq \pi \leq 1$

그런데 우변의 1/k를 제외한 항 모두가 이항분포함수이므로 k=1이다.

따라서 uniform prior일때 binomial확률분포를 likelihood로 갖는 posterior는

$$g(\pi | y) = \left(\begin{array}{c}n\\ y\end{array}\right) \pi^y \left( 1- \pi \right)^{n-y} $$

이고, 여기서 $0 \leq \pi \leq 1$

 

Beta Prior

Beta함수를 prior로 가질때

$$g(\pi; a, b) = \frac {\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \pi^{a-1} (1-\pi)^{b-1} $$

이를 posterior식에 대입하면

$$g(\pi | y) \propto \pi^{a+y-1} (1-\pi)^{b+n-y-1} $$

이다.

아직 k값을 알지 못하므로 $\propto$로 표기하였다.

k값은 직관적으로 알수 있는데 beta prior와 비교하면 posterior는 a가 a+y 그리고 b가 b+n-y로 치환되었음을 알수 있다. 따라서

$$\frac{1}{k} = \frac{\Gamma(n+a+b)}{\Gamma(y+a)\Gamma(n-y+b)}$$

이고 posterior는

$$g(\pi | y) =\frac{\Gamma(n+a+b)}{\Gamma(y+a)\Gamma(n-y+b)} \pi^{y+a-1} (1-\pi)^{n-y+b-1} $$

 

 

Conjugated Prior

binomial 분포함수가 $\pi$와 $(1-\pi)$의 거듭제곱으로 이루어져있고 beta 함수도 이와 같으므로 beta분포를 prior로 사용하였을때 이를 binomial분포의  conjugated prior라고 한다. 적분을 하지 않고도 posterior분포함수를 구할수 있는 장점이 있다.