확률이론 정리4. 적률생성함수(Moment generating function)

확률변수 X의 적률생성함수

X가 이산확률변수이고 pmf가  f(x)이고 support가 S일때

$$M(t) = E( e^{tX} ) = \sum_{x \in S} e^{tx} f(x)$$

를 X의 적률생성함수라고 한다. 이때 t는 $-h \lt t \lt h$인 h가 존재해야만 한다.

 

예제 Binomial 확률변수의 적률생성함수 구하기

$\begin{align} M(t) &= E\left(e^{tx} \right)\\ &= \sum_{x=0}^n e^{tx} f(x) \\ &= \sum_{x=0}^n e^{tx} \dbinom{n}{x} p^x (1-p)^{(n-x)} \\ &= \sum_{x=0}^n \dbinom{n}{x} (p e^t )^x (1-p)^{(n-x)} \\ &= \left[ (1-p) + p e^t \right]^n  \end{align}$

$ \because (a+b)^n = \sum_{x=0}^n \dbinom{n}{x} b^x a^{(n-x)}$

 

명제

1. 적률생성함수를 t=0에서 한번미분하면 평균값이 된다.
   $\mu = E(X) = M'(0)$
2. X의 분산은 다음과 같다
   $\sigma^2 = E(X^2) - E(X)^2 = M''(0) - \left[ M'(0) \right]^2$

증명

$\begin{align} M(t) = E(e^{tx}) = \sum_{x \in s} e^{tx} f(x)\end{align}$

$\begin{align} M'(0) &= \left[ \frac {d M(t)}{dt} \right]_{t=0} \\ &= \left[ \sum_{x \in S} x e^{xt} f(x) \right]_{t=0} \\ &= \sum_{x \in S} x f(x) \\ &= E(X) \end{align}$

$\begin{align} M''(0) &= \left[ \frac {d^2 M(t)} {dt}  \right]_{t=0} \\ &= \left[ \sum_{x \in S} x^2 e^{tx} f(x) \right]_{t=0} = \sum_{t \in S} x^2 f(x) = E(x^2) \end{align}$

 

예제)

이항확률변수의 적률생성함수는 앞에서 구한대로

$$M(t) = \left[ (1-p) + p e^t \right]^n  $$

이다. 이를 이용하여 $\mu$와 $\sigma^2$을 구하면

$\begin{align} M'(t) = n \left[ 1-p + p e^t \right]^{(n-1)} \left( p e^t \right) \end{align}$

$\mu = M'(t=0) = n (1 - p + p)^{(n-1)} p e^0 = np$

$\begin{align} M''(t) &= n(n-1) [1-p+pe^t]^{(n-2)} (pe^t)^2+ n[1-p+pe^t]^{(n-1)} (pe^t) \end{align}$

$\begin{align} M''(0) &= n(n-1) [1-p+pe^0]^{(n-2)} (pe^0)^2+ n[1-p+pe^0]^{(n-1)} (pe^0) \\ &= n(n-1)[1-p+p]^{(n-2)} p^2 + n[1-p+p]^{(n-2)}p \\ &= n(n-1)p^2 + np  \end{align}$

$\begin{align} \sigma^2 &= M''(0) - (M'(0))^2 = n(n-1)p^2 + np - n^2p^2 \\ &= n^2 p^2 - np^2 + np - n^2p^2 \\ &= np - np^2 \\ &= np(1-p)\end{align}$

 

Uniqueness property of the moment generating function

확률변수에 대하여 하나의 적률생성함수가 존재할때 여기에 대응하는 하나의 확률분포함수가 존재한다.