獨斷論

베이즈 추론 해석적 해법 본문

과학과 기술/통계이론설명

베이즈 추론 해석적 해법

부르칸 2021. 8. 21. 05:27

베이즈추론(Bayesian inference)를 prior가 확률함수로 주어졌을때 몇가지 경우에 한하여 해석적인 해를 구할수 있다.

 

이항분포(Bionomial distribution)함수는

f(y|π)=(ny)πy(1π)ny

여기서 y = 1, 2, 3, ..., n 이며 한번 시행할 확률 π는 고정값이다.

 

같은 이항분포이지만 y는 고정되어 있고 π가 변함에 따라서 확률값을 계산한다면 이는 likelihood가 된다.

f(y|π)=(ny)πy(1π)ny

여기서 0π1

 

Posterior g(π|y)

g(π|y)g(π)f(y|π)

인데  확률분포함수르 f와 g로 구분하였다. g는 관측되지 않는 확률변수만 포함되었을때 확률분포를 나타내고 f는 관측할수 있는 확률변수가 포함되었을때 확률분포를 나타낸다.

 

g(π|y)의 정확한 posterior값을 구하기 위해서 상수 k를 나누어 g(π|y)dπ=1이 되도록 만들어야만 하는데 이 값은 prior를 무엇으로 취하느냐에 따라 달라진다.

g(π|y)=1kg(π)f(y|π)

여기서 k=10g(π)f(y|π)dπ

Uniform Prior

uniform prio는 아래와 같다.

g(π)={10π10π<0,π>1

이를 위 posterior 확률분포함수에 대입하면

g(π|y)=1k(ny)πy(1π)ny

여기서 0π1

그런데 우변의 1/k를 제외한 항 모두가 이항분포함수이므로 k=1이다.

따라서 uniform prior일때 binomial확률분포를 likelihood로 갖는 posterior는

g(π|y)=(ny)πy(1π)ny

이고, 여기서 0π1

 

Beta Prior

Beta함수를 prior로 가질때

g(π;a,b)=Γ(a+b)Γ(a)Γ(b)πa1(1π)b1

이를 posterior식에 대입하면

g(π|y)πa+y1(1π)b+ny1

이다.

아직 k값을 알지 못하므로 로 표기하였다.

k값은 직관적으로 알수 있는데 beta prior와 비교하면 posterior는 a가 a+y 그리고 b가 b+n-y로 치환되었음을 알수 있다. 따라서

1k=Γ(n+a+b)Γ(y+a)Γ(ny+b)

이고 posterior는

g(π|y)=Γ(n+a+b)Γ(y+a)Γ(ny+b)πy+a1(1π)ny+b1

 

 

Conjugated Prior

binomial 분포함수가 π(1π)의 거듭제곱으로 이루어져있고 beta 함수도 이와 같으므로 beta분포를 prior로 사용하였을때 이를 binomial분포의  conjugated prior라고 한다. 적분을 하지 않고도 posterior분포함수를 구할수 있는 장점이 있다.

Comments