正規母集団からの推定をやる前に、正規分布の再生性の理解が必要だったのでまとめてみる。
独立な確率変数\(X_1\)、\(X_2\)がそれぞれ確率分布\(g(x)\)、\(h(x)\)に従うとする。
各確率変数の和\(X_1+X_2\)が従う確率分布を\(k(z)\)とする。
確率\(P(X_1+X_2=z)\)を考えると、\(X_1+X_2=z\)となるのは、
\(X_1=x, X_2=z-x\)としたとき、両者を足して\(z\)になる全ての組み合わせ。
\(X_1\)は\(g(x)\)、\(X_2\)は\(h(z-x)\)に従うので、両者が同時に起こる確率は\(g(x)h(z-x)\)。
これをまとめて書くと、
\begin{eqnarray}
k(z) = \sum_x g(x)h(z-x)
\end{eqnarray}
この形が「たたみこみ(convolution)」。
\(k = g * x\)と書く。
確率変数\(X_1\)、\(X_2\)が独立で、それぞれ平均\(\mu_1\)、\(\mu_2\)、分散\(\sigma_1^2\)、\(\sigma_2^2\)の正規分布に従うなら、
以下が成り立つ。
\begin{eqnarray}
N(\mu_1,\sigma_1^2) * N(\mu_2,\sigma_2^2) = N (\mu_1+\mu_2, \sigma_1^2 + \sigma_2^2)
\end{eqnarray}
これ、モーメント母関数を使って証明できる様子。
ある分布のモーメント母関数があったとして、モーメント母関数を\(n\)回微分して変数を\(0\)と置くと、
分布の期待値、分散、歪度、突度など統計量を求められるやつ。
正規分布の確率密度関数とモーメント母関数は以下の通り。
\begin{eqnarray}
f(x) &=& \frac{1}{\sqrt{2\pi\sigma}} exp\left( – \frac{(x-\mu)^2}{2\sigma^2} \right) \\
M(t) &=& exp \left( \mu t + \frac{\sigma^2 t^2}{2} \right)
\end{eqnarray}
もちろん、\(N(\mu_1,\sigma_1^2)\)、\(N(\mu_2,\sigma_2^2)\)のモーメント母関数は,
\begin{eqnarray}
M_1(t) &=& exp \left( \mu_1 t + \frac{\sigma_1^2 t^2}{2} \right) \\
M_2(t) &=& exp \left( \mu_2 t + \frac{\sigma_2^2 t^2}{2} \right) \\
\end{eqnarray}
かけると、以下の通り\(N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)\)のモーメント母関数となる。
\begin{eqnarray}
M_1(t) M_2(t) &=& exp\left( \mu_1 t +\frac{\sigma_1^2 t^2}{2} \right) exp\left( \mu_2 t + \frac{\sigma_2^2 t^2}{2} \right) \\
&=& exp\left( (\mu_1+\mu_2) t +\frac{(\sigma_1^2 + \sigma_2^2) t^2}{2} \right)
\end{eqnarray}
たたみこみの操作は、独立な確率変数\(X_1,X_2\)について\(X_1+X_2\)の確率分布を求める操作だから、
この結果は独立な確率変数\(X_1,X_2\)が\(N(\mu_1,\sigma_1^2)\)、\(N(\mu_2,\sigma_2^2)\)に従うとき、
\(X_1+X_2\)が\(N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)\)に従うことを意味する。
ある確率分布のたたみ込みの結果が同じ確率分布になることを再生性(reproductive)というらしい。
正規分布の再生性を使った演算
正規分布には再生性があるので、以下みたいな演算ができる。
\(X_1,X_2,\cdots,X_n\)が独立で、それぞれ正規分布\(N(\mu_1,\sigma_1^2),N(\mu_2,\sigma_2^2),\cdots,N(\mu_N,\sigma_N^2) \)に
従うとき、\(X_1+X_2+\cdots+X_n\)は\(N(\mu_1+\mu2+\cdots,\mu_N,\sigma_1^2+\sigma_2^2+\cdots+\sigma_N^2)\)に従う。
\(X_1,X_2,\cdots,X_n\)が全て同じ\(N(\mu,\sigma^2)\)に従うなら、
\(X_1+X_2+\cdots+X_n\)は、\(N(n\mu, n\sigma^2)\)に従う。
\(\bar{X}=\frac{X_1+X_2+\cdots+X_n}{n}\)は\(N(\mu,\frac{\sigma^2}{n})\)に従う。