最尤推定とMAP推定とベイズの定理は繋がっていたので、
記憶が定かなうちに思いの丈を書き出してみるテスト。俯瞰してみると面白い。
あるデータ達\(x\)が観測されていて、それらは未知のパラメータを持つ確率分布から発生している。
観測されたデータ達\(x\)を使って、それらのデータを発生させたモデルのパラメータを推定したい。
確率密度関数の中に2つの変数があって。
片方を定数、片方を確率変数として扱うことで2通りの見方ができる。
例えば\(n\)回のコイントスで\(k\)回表が出る確率が\(\theta\)だとしてベルヌイ分布の確率密度関数は
\(k\)と\(\theta\)のどちらが確率変数だとしても意味がある。
\begin{eqnarray}
f(k;\theta)=\theta^k (1-\theta)^{n-k}
\end{eqnarray}
表が出る確率\(\theta\)が定数だと思って、確率変数\(x\)の確率密度関数と思う。
単なる確率変数\(x\)の確率密度関数の中に\(\theta\)という定数がある。尤度。
尤度は確率変数\(x\)の確率密度関数!。
\begin{eqnarray}
p(X=x|\theta)
\end{eqnarray}
尤度\(p(x|\theta)\)を最大にする\(\theta\)を推定するのが最尤推定。
\begin{eqnarray}
\newcommand{\argmax}{\mathop{\rm arg~max}\limits}
\hat{\theta} = \argmax_{\theta} p(X=x|\theta)
\end{eqnarray}
事後確率と事前確率には関係があって以下のようになる。ベイズの定理。
\begin{eqnarray}
p(\theta|x)=\frac{p(x|\theta) p(\theta)}{p(x)}
\end{eqnarray}
ちなみに、\(p(x)\)は以下のようにしておくとわかりやすい。
同時確率と周辺確率の関係。表を書いて縦、横がクロスするところが同時確率だとして、
縦、横いずれかの方向に同時確率を足し合わせる操作にあたるらしい。
なにか確率変数が独立でなければならない、というのは気にしない。
\begin{eqnarray}
p(x) = \int p(x,\theta) d\theta
\end{eqnarray}
なので以下みたいに書き直せる。最後の比例のところは…。
左辺は事後確率分布、右辺は尤度と事前確率分布の積!!。
\begin{eqnarray}
p(\theta|x) &=& \frac{p(x|\theta) p(\theta)}{p(x)} \\
&=& \frac{p(x|\theta) p(\theta)}{\int p(x,\theta) d\theta} \\
&\propto& p(x|\theta) p(\theta)
\end{eqnarray}
\(p(\theta)\)は確率変数\(\theta\)の確率分布。尤度\(p(x|\theta)\)は\(\theta\)に対して定数。\(x\)に対して変数。
ということで、右辺は確率分布\(p(\theta)\)を尤度\(p(x|\theta)\)を使って変形した確率分布。
で、左辺の\(p(\theta|x)\)は右辺の\(p(x|\theta) p(\theta)\)を定数倍した確率分布。
データを観測していない状態で立てた\(p(\theta)\)があって、
観測したデータを使って求めた尤度\(p(x|\theta)\)が得られたことで、
左辺の\(p(\theta|x)\)が得られた、という状況。
\(p(\theta|x)\)は確率変数\(\theta\)の確率分布なので、
最尤推定とベイズの定理を俯瞰してみると、最尤推定が点推定である一方で、
ベイズの定理では確率分布が得られるという具合で異なる。
(観測値が極端なデータだったとき、最尤推定は極端な推定結果が得られるだけだけれども、
ベイズの定理で得られる事後確率分布は確率分布なので様子がわかる..??)
事後確率分布を最大化する\(\theta_{MAP}\)を求めるのがMAP推定。(点推定)
\begin{eqnarray}
\hat{\theta_{MAP}} = \argmax_{\theta} p(\theta|x)
\end{eqnarray}
尤度をかけて得られた事後分布と同じ形になる便利な分布があって、
観測データ達の分布と対応して決まっている(共役事前分布)。
ベルヌイ分布の共役事前分布はベータ分布。