ようやくたどり着いたベイズの定理の入り口。
ここから入らないと何も理解できないと思う。
条件付き確率と事象の独立性
事象\(B\)が起こることがわかってる場合に事象\(A\)が起こる確率を
\(B\)を条件とする\(A\)の条件付き確率という。
読み方は、Probability of A given B.
\(P_B (A)\)とも書く。
当たり前のように以下の定義がある。
そもそもここから引っかかる。
\begin{eqnarray}
P(A|B) = \frac{P(A\cap B)} {P(B)}
\end{eqnarray}
見方はこちら。
\begin{eqnarray}
P(A\cap B) = P(B) \cdot P(A|B)
\end{eqnarray}
最初に\(B\)か\(B\)でないかで分岐する際に\(B\)を選んだ確率が\(P(B)\)。
次に\(A\)か\(A\)でないかで分岐する際に\(A\)を選んだ確率が\(P(A|B)\)。
俯瞰して\(A\)と\(B\)を両方一気に選ぶ確率は\(P(A\cap B)\)。
そう、何が気持ち悪いかというと\(P(A\cap B)\)と\(P(A|B)\)が同じでないところ。
ではどう違うのか。
\(A\)を選ぶ確率が\(B\)に依存していないならば、\(P(A|B)\)は\(P(A)\)と等しい。
つまり、\(P(A\cap B) = P(B) \cdot P(A)\)。こちらは直感的。
依存しているならば、\(P(B)\)と\(P(A)\)を分離できなくなり、Aを選ぶ確率にBの影響が出る。
Aを選ぶのにBの影響が出る一般の条件がコレで、
\begin{eqnarray}
P(A\cap B) = P(B) \cdot P(A|B)
\end{eqnarray}
そのうち、影響が全くでない特殊な条件がコレ。
\begin{eqnarray}
P(A\cap B) = P(B) \cdot P(A)
\end{eqnarray}
すっきり。
ベイズの定理
\(H_1,H_2,\cdots,H_n\)という原因の結果\(A\)が得られた、という条件。
普通は原因\(H\)が発生した上で結果\(A\)が得られる確率\(P(A|H)\)を直接計算することができるが、
結果が得られた上で原因が得られる確率\(P(H|A)\)は直接計算できない。
直接計算できる\(P(A|H)\)を直接計算できない\(P(H|A)\)に変換するのがベイズの定理。
\begin{eqnarray}
P(H_i|A) = \frac{P(H_i)\cdot P(A|H_i)}{\sum P(H_j) \cdot P(A|H_j)}
\end{eqnarray}
一番有名なたとえ。
「無料」という単語を含むメールが迷惑メールである確率を知りたいけど直接計算では求められない。
大量に迷惑メールを集めて「無料」という単語が含まれる確率は計算で得られる。
後者を前者に変換することで、直接得られない確率を推定する話。
条件付き確率の定義を変形するとベイズの定理になる。
\begin{eqnarray}
A &=& A \cap \Omega \\
&=& A \cap (H_1 \cup H_2 \cup \cdots \cup H_n) \\
&=& (A \cap H_1) \cup (A \cap H_2) \cup \cdots (A \cap H_n)
\end{eqnarray}
\((A \cap H_1)\)、\((A \cap H_2)\)、\(\cdots\)、\((A \cap H_n)\)は排反だから
\begin{eqnarray}
P(A) &=& \sum P(A \cup H_j) \\
&=& \sum P(H_j) \cdot P(A|H_j)
\end{eqnarray}
条件付き確率の定義に放り込む。
\begin{eqnarray}
P(H_i|A) &=& \frac{P(H_i\cup A)}{P(A)} \\
&=& \frac{P(A|H_i)\cdot P(H_i)}{P(A)} \\
&=& \frac{P(A|H_i)\cdot P(H_i)}{\sum P(H_j) \cdot P(A|H_j)}
\end{eqnarray}