今回から、atomにmathjax-wrapperを入れてatomで数式入り文章を書いてみる。
数式を書くと瞬時にプレビューができて、10倍は速くなった気がする。1時間くらいで書いてみる。
母集団の\(\sigma\)、\(\mu\)が既知なのなら、共役事前分布は正規分布で良いのだから、
一体何をやりたいのか…という記事になってることに1日経って気づいた…。
チラシの裏程度なので気にしない。
何故、事前分布と事後分布を同じ確率分布に揃えるかというと、計算済みの事後分布を次の事前分布として
使うことができるから。事後分布の計算を繰り返していくと理論上は精度が上がっていく。
事前分布と事後分布を同じ分布にするために、逆ガンマ分布を事前分布として採用する。
そうすることで、左辺の事後分布と、右辺の尤度x共役事前分布が共に逆ガンマ分布となる。
(母平均が既知で分散が未知、という条件がつく。)
正規分布の共役事前確率分布として逆ガンマ分布を使う、というところまでは良かったのだけども、
逆ガンマ分布のパラメタが巷には2種類なのと4種類なのがあってもやもや。
ガンマ分布をさらに一般化した一般化ガンマ分布が4パラメータなのだそうな。
そもそもガンマ分布はカイ二乗分布と指数分布の一般化なので、どこまで一般化するのか。
ひとまず触れてはいけないところに触れてしまったようなので、2パラメータで出直してみる。
合ってるんだか間違ってるんだかも不明なのだけども、結論としては、細かいことはどうでもよくて、
事後分布と尤度x共役事前分布の関係を脳裏に焼き付けるためのプロセス。
何周かしないと真理にはたどり着けない…。
ガンマ分布と逆ガンマ分布
ガンマ分布の確率密度関数は以下。\(\alpha\)は形状パラメータ,\(\beta\)はスケールパラメータ。
\(\alpha\) を固定して \(\beta\)を動かすとカイ二乗分布。
\(\beta\) を固定して \(\alpha\)を動かすと指数分布。
Excelで \(\alpha\) と \(\beta\)をグリグリ動かしてみると意味がわかる。面白い。
良くできてるなー。
$$
\begin{eqnarray}
f(x|\alpha,\beta) = \frac{1}{\beta^\alpha \Gamma(\alpha)} x^{\alpha-1} exp\left(-\frac{x}{\beta}\right)
\end{eqnarray}
$$
そして、\(\alpha\) を大きくしていくと形状が正規分布に近づいていく。
累積確率分布関数は以下。
$$
\begin{eqnarray}
F(x|\alpha,\beta) = \frac{1}{\beta^\alpha\Gamma(\alpha)} \int_0^xt^{\alpha-1} exp (e^{-\frac{t}{\beta}})dt
\end{eqnarray}
$$
対して逆ガンマ分布の確率密度関数は以下。ガンマ分布で\(x’=\frac{1}{x}\) とすると出てくる。
$$
\begin{eqnarray}
f(x|\alpha,\beta)=\frac{\beta^{\alpha}}{ \Gamma(\alpha)} x^{-(\alpha+1)}
exp\left(-\frac{\beta}{x}\right)
\end{eqnarray}
$$
The shorthand for the distribution, X~inverted gamma(α,β), or IG(α, β), means that a random variable X has this distribution with positive parameters α and β.
再びベイズ統計へ
ベイズの定理を使って出てくる事後確率分布と事前確率分布の関係は以下の通りだった。
$$
\begin{eqnarray}
p(\mu,\sigma^2|\boldsymbol{x})&=&\frac{p(\boldsymbol{x}|\mu,\sigma^2)p(\mu,\sigma^2)}{p(\boldsymbol{x})} \\
&\propto& p(\boldsymbol{x}|\mu,\sigma^2)p(\mu,\sigma^2)
\end{eqnarray}
$$
尤度は周辺確率の積として表されるけれども、母集団の平均が既知で分散が未知の場合の話をするので、
確率変数\(X\)を分散にもつ正規分布を考える。\(y\)は標本平均。\(\mu\)は既知の母平均。
$$
\begin{eqnarray}
p(x | \mu, X) &=& N(x|\mu,X) \\
&=& \frac{1}{\sqrt{2\pi x}}exp\left(-\frac{(y-\mu)^2}{2x}\right)
\end{eqnarray}
$$
正規分布である尤度に逆ガンマ分布をかけて式変形していく。
比例の関係を見たいので定数をのぞいてシンプルにするところがポイント。
$$
\begin{eqnarray}
p(\mu,\sigma^2|\boldsymbol{x}) &\propto& \frac{1}{\sqrt{2\pi x}}exp\left(-\frac{(y-\mu)^2}{2x}\right) \frac{\beta_0^\alpha}{\Gamma(\alpha_0)} \left(\frac{1}{x}\right)^{\alpha_0+1}
exp\left(\frac{-\beta_0}{x}\right) \\
&\propto & \frac{1}{x} exp \left( – \frac{(y-\mu)^2}{2x}\right) x^{-\alpha_0-2} exp \left( -\frac{\beta_0}{x} \right) \\
&\propto & x^{-\alpha_0-2} exp \left( -\frac{1}{x}(\beta_0 + \frac{1}{2}(y-\mu)^2 \right)
\end{eqnarray}
$$
右辺の確率分布が逆ガンマ分布であるためには、定数のぞいた箇所、つまり\(x\)の肩と\(exp\)の肩が
逆ガンマ分布のそれと同じでなければならないから、
$$
\begin{eqnarray}
-(\alpha_0-2) &=& \alpha +1 \\
\alpha &=& \alpha_0+\frac{1}{2} \\
\end{eqnarray}
$$
また、
$$
\begin{eqnarray}
\beta &=& \beta_0 + \frac{1}{2} (y-\mu)^2
\end{eqnarray}
$$
これで、左辺の逆ガンマ分布の \(\alpha\)、\(\beta\)が作れる。
更新するたびに \(\alpha\)、\(\beta\)が増加していくのがわかる。