期待値、分散、歪度、尖度…、確率分布を形成する確率密度関数の特徴を表す値で、
実は、相互に変換できる値なのだという…。読んでいったら若干感動したのでまとめてみる。
40近いオッさんがはじめてテイラー展開のありがたさを味わう瞬間の記録。
モーメント母関数とモーメント
モーメント母関数を以下のように定義。
\begin{eqnarray}
M_x(t) &=& E(e^{tX}) \\
&=& \int_{-\infty}^{\infty} e^{tx} f(x) dx
\end{eqnarray}
英語で書くとmoment generating function。モーメントを作る関数。
ここで\(f(x)\)というのが確率密度関数。
もともとこの時点で積分が存在しないかもしれない。
確率密度関数によっては、期待値、分散、歪度、尖度を直接求めるのは難しい。
しかし、モーメント母関数の\(r\)階導関数からモーメント\(\mu_r\)を解析的に求められる性質から、
期待値、分散、歪度、尖度を求めることができる。
さて…、40近いオッさんは思い出す。
指数関数のテイラー展開は、マクローリン級数を使って以下の通り。
\begin{eqnarray}
e^x = 1+x+x^2/2!+x^3/3!+\cdots
\end{eqnarray}
\(tX\)だと、
\begin{eqnarray}
e^{tX} = 1+tX+(tX)^2/2! +(tX)^3/3! + \cdots
\end{eqnarray}
両辺の期待値をとる。右辺全体の期待値はそれぞれの項の期待値の和にできるので、
\begin{eqnarray}
E(e^{tX}) &=& M_x(t)\\
&=& E(1) + E(tX) + E((tX)^2/2!) + E((tX)^3/3!)) + \cdots
\end{eqnarray}
\(t\)に対する定数を出すと
\begin{eqnarray}
M_x(t) &=& E(e^{tX})\\
&=& E(1) + E(X)t + E(X^2/2!)t^2 + E(X^3/3!)t^3 + \cdots \\
&=& 1 + \mu_1 t + (\mu_2/2!)t^2 + (\mu_3/3!)t^3 + \cdots
\end{eqnarray}
キター。おわかりだろうか…。
\(M_x(t)\)は\(t\)に関する展開式の係数に各次数のモーメントを含んでいる。
\(t\)について1回微分すると0次までの項は消える。
2次以降の項の\(t\)の次数が1減って残る。1次の項だけ\(t\)が消える。
そのとき\(t=0\)とすると、階数の係数\(M^{(r)}_X(0)=\mu_r\)だけ残る！
つまり、以下のようなとんでもないことになる。
\begin{eqnarray}
M_X'(0) = \mu_1 \\
M_X”(0) = \mu_2 \\
M_X”'(0) = \mu_3 \\
\end{eqnarray}
各次数のモーメントである期待値、分散、歪度、尖度を、
モーメント母関数の\(r\)階導関数から求められるということになる。
指数分布のモーメント
試しに指数分布でやってみる。
\begin{eqnarray}
M_x(t) &=& \int_{0}^{\infty} e^{tx} \lambda e^{-\lambda x} dx \\
&=& \lambda \int_{0}^{\infty} e^{(t-\lambda)x} dx
\end{eqnarray}
指数関数の積分のところでおっ、と思ったけど、以下となる。
\begin{eqnarray}
M_x(t) = \frac{ \lambda }{ \lambda -t}
\end{eqnarray}
これ、解析的に微分できるのかな…と思うんだけども高校数学で暗記するやつ。
微分と積分を行ったり来たりするとわかる。
\begin{eqnarray}
M_x^{(1)}(t) &=& \frac{ \lambda }{ (\lambda -t)^2} \\
M_x^{(2)}(t) &=& \frac{ 2 \cdot \lambda }{(\lambda -t)^3} \\
M_x^{(3)}(t) &=& \frac{ 2 \cdot 3 \cdot \lambda}{(\lambda -t)^4}
\end{eqnarray}
\(t=0\)とおくと、
\begin{eqnarray}
\mu_1 &=& \frac{1}{\lambda} \\
\mu_2 &=& \frac{2}{\lambda^2} \\
\mu_3 &=& \frac{2 \cdot 3}{ \lambda^3} \\
\mu_4 &=& \frac{2 \cdot 3 \cdot 4}{ \lambda^4}
\end{eqnarray}
これで、微分の数値計算をしなくても解析的に\(\mu_1\)から\(\mu_4\)が求まった。
そして永遠に微分し続けることで指数分布を形作る指標が決まっていく。
すごいなぁ…。