いつか起こる大地震がもし昨日起きたとしたら明日起こる確率は下がるのか？
飛行機が昨日落ちたとしたらしばらくは飛行機は落ちないのか？
うまくいかない人生が今日またうまくいかなかったとして将来うまくいかない確率は下がるのか？
起こるか起こらないかの確率が変わらないのであれば、将来は過去に影響されないらしい。
影響されるかどうか、と聞かれるとされない、と答えるだろうけど、それを説明することができるらしい。
そんな無記憶性の件読んでみたのでまとめてみる。
統計学入門とこちらを参考にさせて頂きました。
幾何分布
幾何分布
二項分布、ポアソン分布は\(n\)回の試行のうち\(x\)回事象\(A\)が発生したときを話題にしていた。
前提を少し変えて、予め試行する回数を決めないで、
\(x\)回目の試行で初めて事象\(A\)が発生した、
という話をすることもできる様子。
確率変数\(x\)が等間隔に並ぶ時刻であるとすることで、
事象\(A\)が発生するまでの待ち時間に関する確率分布を作れる。
\(x\)回目の試行で初めて事象\(A\)が起こった、ということを、
\(x-1\)回事象\(\bar{A}\)が起こり、次に事象\(A\)が起きたと考える。
事象\(A\)の生起確率を\(p\)、事象\(\bar{A}\)の生起確率を\(q\)とすると、
その確率は以下のようになる。
\begin{eqnarray}
f(x) = p \cdot q^{x-1}
\end{eqnarray}
\(x\)の増加1回に対して\(q\)を1回かける構造で、公比\(q\)の等比数列になっている。
等比数列って英語でgeometric seriesって言うもんだから、幾何分布っていう名前がついてる様子。
\(f(x)\)の確率変数\(x\)は事象\(A\)が発生するまでの試行回数（時間）である、と読む様子。
では確率変数\(X\)が幾何分布に従うとき、期待値はどうかというと\(\frac{1}{p}\)となる。
確率の以下の読み方から、\(x\)回の試行に平均して\(\frac{1}{p}\)回かかる、というのは妥当に見える。
事象\(A\)の生起確率\(p\)の読み方について、その逆数\(\frac{1}{p}\)は、事象\(A\)が起こるまでの試行回数と読む。
\(p\)回の試行で初めて事象\(A\)が起こった、というシーンで事象\(A\)の生起確率を\(p\)と置いているので..。
期待値
幾何分布の期待値は\(\frac{1}{p}\)。ベルヌーイ試行の確率が\(p\)であるならば、平均\(\frac{1}{p}\)回で事象が起こる。
分散は\(\frac{1-p}{p^2}\)。期待値の証明は以下の通り。へぇ。
\begin{eqnarray}
E(X) &=& \sum_x x \cdot f(x) \\
&=& \sum_x x \cdot p q^{x-1}
\end{eqnarray}
\(E(X)が\frac{1}{p}\)であることを示したい。
恒等式を使ってやる奴ではなく、愚直にやる奴を書く。
まず、\(q=1-p\)として\(E(X)\)を変形しておいてスタート。
\begin{eqnarray}
E(X) &=& \sum_x x \cdot p (1-p)^{x-1} \\
&=& p \sum_x x \cdot (1-p)^{x-1}
\end{eqnarray}
右辺を生み出すために、\(\frac{1}{x-1}\)のテイラー展開を持ち出す。
\begin{eqnarray}
\frac{1}{1-x} &=& 1 + x + x^2 + \cdots \\
&=& \sum_{k=0}^{\infty} x^k
\end{eqnarray}
左辺を\(x\)で微分すると以下の通り。
\begin{eqnarray}
\left( \frac{1}{1-x} \right) \frac{d}{dx} = \frac{1}{(1-x)^2}
\end{eqnarray}
右辺を\(x\)で微分すると以下の通り。
\begin{eqnarray}
\sum_{k=0}^{\infty} x^k \frac{d}{dx} = \sum_{k=1}^{\infty} k x^{k-1}
\end{eqnarray}
なので、
\begin{eqnarray}
\frac{1}{(1-x)^2} = \sum_{k=1}^{\infty} k x^{k-1}
\end{eqnarray}
\(x=1-p\)として式変形すると、
\begin{eqnarray}
\frac{1}{p^2} = \sum_{k=1}^{\infty} k (1-p)^{k-1}
\end{eqnarray}
\(E(X)\)にこれらを代入すると、
\begin{eqnarray}
E(X) &=& p \sum_x x \cdot (1-p)^{x-1} \\
&=& p \cdot \frac{1}{p^2} \\
&=& \frac{1}{p}
\end{eqnarray}
本当に\(\frac{1}{p}\)になった。
両辺を微分したものが等しいって、なんでだっけ？
無記憶性
どうも、世の中には\(n-1\)回連続して失敗して\(n\)回目で初めて成功することを言っているものと、
\(n\)回連続して失敗して、\(n+1\)回目で初めて成功することを言っているものがある。
期待値も分散も若干違うものになる。
ここからは\(n\)回の失敗に続いて\(n+1\)回目で初めて成功するケースに切り替える。
その時の確率を\(P(X=n)\)とする。で、失敗が\(n\)回以上連続して起こる確率\(P(X\geq n)\)を考える。
\begin{eqnarray}
P(X \geq n) &=& P(X=n) + P(X=n+1) + P(X=n+2) + \cdots \\
&=& p(1-p)^n + p(1-p)^{n+1} + p(1-p)^{n+2} + \cdots \\
&=& p(1-p) \left( 1 + (1-p)^1 + (1-p)^2 + \cdots \right) \\
&=& p(1-p) \sum_{k=1}^{\infty} (1-p)^{k-1}
\end{eqnarray}
途中の無限級数は\(\frac{1}{1-x}\)の級数展開になっていて、
以下みたいになる。
\begin{eqnarray}
P(X \geq n) &=& p(1-p)^n \sum_{k=1}^{\infty} (1-p)^{k-1} \\
&=& p(1-p)^n \frac{1}{1-(1-p)} \\
&=& p(1-p)^n \frac{1}{p} \\
&=& (1-p)^n
\end{eqnarray}
\(n\)回連続して失敗した上で、さらに連続して\(k\)回の失敗を重ねる確率を考える。
\(n\)回連続して失敗する確率は\(P(X\geq n)\)。
この条件の上でさらに\(k\)回失敗を重ねる確率は条件付き確率として\(P(X\geq n+k | X \geq n)\)。
条件付き確率の定義と乗法定理から式を展開していく。（ここが難しかった…)
\begin{eqnarray}
P(X\geq n+k | X \geq n) &=& \frac{P((X \geq n+k)\cap (X \geq n) )}{P(X \geq n)} \\
&=& \frac{P(X \geq n+k)}{P(X \geq n)} \\
&=& \frac{(1-p)^{n+k}}{(1-p)^n} \\
&=& (1-p)^k \\
&=& P(X=k)
\end{eqnarray}
ということで、以下が成り立つことがわかる。
\begin{eqnarray}
P(X\geq n+k | X \geq n) &=& P(X=k)
\end{eqnarray}
よーく見てみると、\(n\)回連続して失敗した後に\(k\)回連続して失敗する確率と、
\(n\)回の失敗無しに、最初から\(k\)回連続して失敗する確率が同じである、と言っている。
凄まじいことに、\(n\)回連続して失敗することは、次の\(k\)回の失敗に全く影響を及ぼさない、と言っている。
何回失敗しようと次に失敗する確率はこれまでの失敗に影響されない。
つまり失敗する確率は過去の影響を受けない。
美しすぎる感じがする。