時系列データ-自己相関係数

[mathjax] いつか起こる大地震がもし昨日起きたとしたら明日起こる確率は下がるのか？ 飛行機が昨日落ちたとしたらしばらくは飛行機は落ちないのか？ うまくいかない人生が今日またうまくいかなかったとして将来うまくいかない確率は下がるのか？ 起こるか起こらないかの確率が変わらないのであれば、将来は過去に影響されないらしい。 影響されるかどうか、と聞かれるとされない、と答えるだろうけど、それを説明することができるらしい。 そんな無記憶性の件読んでみたのでまとめてみる。 統計学入門とこちらを参考にさせて頂きました。 幾何分布 幾何分布 二項分布、ポアソン分布は(n)回の試行のうち(x)回事象(A)が発生したときを話題にしていた。 前提を少し変えて、予め試行する回数を決めないで、 (x)回目の試行で初めて事象(A)が発生した、 という話をすることもできる様子。 確率変数(x)が等間隔に並ぶ時刻であるとすることで、 事象(A)が発生するまでの待ち時間に関する確率分布を作れる。 (x)回目の試行で初めて事象(A)が起こった、ということを、 (x-1)回事象(bar{A})が起こり、次に事象(A)が起きたと考える。 事象(A)の生起確率を(p)、事象(bar{A})の生起確率を(q)とすると、 その確率は以下のようになる。 begin{eqnarray} f(x) = p cdot q^{x-1} end{eqnarray} (x)の増加1回に対して(q)を1回かける構造で、公比(q)の等比数列になっている。 等比数列って英語でgeometric seriesって言うもんだから、幾何分布っていう名前がついてる様子。 (f(x))の確率変数(x)は事象(A)が発生するまでの試行回数（時間）である、と読む様子。 では確率変数(X)が幾何分布に従うとき、期待値はどうかというと(frac{1}{p})となる。 確率の以下の読み方から、(x)回の試行に平均して(frac{1}{p})回かかる、というのは妥当に見える。 事象(A)の生起確率(p)の読み方について、その逆数(frac{1}{p})は、事象(A)が起こるまでの試行回数と読む。 (p)回の試行で初めて事象(A)が起こった、というシーンで事象(A)の生起確率を(p)と置いているので..。 期待値 幾何分布の期待値は(frac{1}{p})。ベルヌーイ試行の確率が(p)であるならば、平均(frac{1}{p})回で事象が起こる。 分散は(frac{1-p}{p^2})。期待値の証明は以下の通り。へぇ。 begin{eqnarray} E(X) &=& sum_x x cdot f(x) \\ &=& sum_x x cdot p q^{x-1} end{eqnarray} (E(X)がfrac{1}{p})であることを示したい。 恒等式を使ってやる奴ではなく、愚直にやる奴を書く。 まず、(q=1-p)として(E(X))を変形しておいてスタート。 begin{eqnarray} E(X) &=& sum_x x cdot p (1-p)^{x-1} \\ &=& p sum_x x cdot (1-p)^{x-1} end{eqnarray} 右辺を生み出すために、(frac{1}{x-1})のテイラー展開を持ち出す。 begin{eqnarray} frac{1}{1-x} &=& 1 + x + x^2 + cdots \\ &=& sum_{k=0}^{infty} x^k end{eqnarray} 左辺を(x)で微分すると以下の通り。 begin{eqnarray} left( frac{1}{1-x} right) frac{d}{dx} = frac{1}{(1-x)^2} end{eqnarray} 右辺を(x)で微分すると以下の通り。 begin{eqnarray} sum_{k=0}^{infty} x^k frac{d}{dx} = sum_{k=1}^{infty} k x^{k-1} end{eqnarray} なので、 begin{eqnarray} frac{1}{(1-x)^2} = sum_{k=1}^{infty} k x^{k-1} end{eqnarray} (x=1-p)として式変形すると、 begin{eqnarray} frac{1}{p^2} = sum_{k=1}^{infty} k (1-p)^{k-1} end{eqnarray} (E(X))にこれらを代入すると、 begin{eqnarray} E(X) &=& p sum_x x cdot (1-p)^{x-1} \\ &=& p cdot frac{1}{p^2} \\ &=& frac{1}{p} end{eqnarray} 本当に(frac{1}{p})になった。 両辺を微分したものが等しいって、なんでだっけ？ 無記憶性 どうも、世の中には(n-1)回連続して失敗して(n)回目で初めて成功することを言っているものと、 (n)回連続して失敗して、(n+1)回目で初めて成功することを言っているものがある。 期待値も分散も若干違うものになる。 ここからは(n)回の失敗に続いて(n+1)回目で初めて成功するケースに切り替える。 その時の確率を(P(X=n))とする。で、失敗が(n)回以上連続して起こる確率(P(Xgeq n))を考える。 begin{eqnarray} P(X geq n) &=& P(X=n) + P(X=n+1) + P(X=n+2) + cdots \\ &=& p(1-p)^n + p(1-p)^{n+1} + p(1-p)^{n+2} + cdots \\ &=& p(1-p) left( 1 + (1-p)^1 + (1-p)^2 + cdots right) \\ &=& p(1-p) sum_{k=1}^{infty} (1-p)^{k-1} end{eqnarray} 途中の無限級数は(frac{1}{1-x})の級数展開になっていて、 以下みたいになる。 begin{eqnarray} P(X geq n) &=& p(1-p)^n sum_{k=1}^{infty} (1-p)^{k-1} \\ &=& p(1-p)^n frac{1}{1-(1-p)} \\ &=& p(1-p)^n frac{1}{p} \\ &=& (1-p)^n end{eqnarray} (n)回連続して失敗した上で、さらに連続して(k)回の失敗を重ねる確率を考える。 (n)回連続して失敗する確率は(P(Xgeq n))。 この条件の上でさらに(k)回失敗を重ねる確率は条件付き確率として(P(Xgeq n+k | X geq n))。 条件付き確率の定義と乗法定理から式を展開していく。（ここが難しかった...) begin{eqnarray} P(Xgeq n+k | X geq n) &=& frac{P((X geq n+k)cap (X geq n) )}{P(X geq n)} \\ &=& frac{P(X geq n+k)}{P(X geq n)} \\ &=& frac{(1-p)^{n+k}}{(1-p)^n} \\ &=& (1-p)^k \\ &=& P(X=k) end{eqnarray} ということで、以下が成り立つことがわかる。 begin{eqnarray} P(Xgeq n+k | X geq n) &=& P(X=k) end{eqnarray} よーく見てみると、(n)回連続して失敗した後に(k)回連続して失敗する確率と、 (n)回の失敗無しに、最初から(k)回連続して失敗する確率が同じである、と言っている。 凄まじいことに、(n)回連続して失敗することは、次の(k)回の失敗に全く影響を及ぼさない、と言っている。 何回失敗しようと次に失敗する確率はこれまでの失敗に影響されない。 つまり失敗する確率は過去の影響を受けない。 美しすぎる感じがする。

[mathjax] レアな観測がレアであることの定式化 マルコフの不等式。 任意の確率変数(X)と(agt 0)に対して以下が成りなってしまう。 begin{eqnarray} P(|X|ge a) le frac{E[|X|]}{a} end{eqnarray} ( k=a/E(X) )とおくと以下となり、 平均の(k)倍を超える確率が(frac{1}{k})以下であることを意味する。 begin{eqnarray} P(|X| ge k E[|X|]) le frac{1}{k} end{eqnarray} 証明は以下の通りにする模様。 結構簡単に導かれる。 begin{eqnarray} E(|X|) &=& sum_{x}|x|P(X=a) \\ &ge& sum_{x:|x|ge a}|x|P(x=a) \\ &ge& sum_{x:|x|ge a}aP(x=a) = a P(|x|ge a) \\ end{eqnarray} 大数の法則の弱法則の証明のためにマルコフの不等式をいじる。 (a = a^2)、(X = (X-mu)^2)とおく。 マルコフの不等式は以下のようになる。 begin{eqnarray} P(|x-mu|ge a) le frac{E(|X-mu|^2)}{a^2} end{eqnarray} チェビシェフの不等式という名前が付いているらしい。 ちなみに、 チェビシェフの不等式について、 begin{eqnarray} P(|X-mu|ge a) &le& frac{sigma^2}{na^2} \\ end{eqnarray} (a)を(ksigma)とする。 begin{eqnarray} P(|X-mu|ge ksigma) &le& frac{sigma^2}{nk^2sigma^2} \\ &=& frac{1}{nk^2} \\ &le& frac{1}{k^2} end{eqnarray} これはどういうことか。 平均から(ksigma)離れたデータはたかだか全体の(frac{1}{k^2})しか存在しない。 凄まじい。 母集団が平均(mu)、標準偏差(sigma)をもつ正規分布である場合、 全体の97.5%が(2sigma)の区間に存在することを利用して、仮説検定、信頼区間を決めたりしてたが、 正規分布でない一般の分布においても(k)を上手く決めることで、同様に仮説検定、信頼区間を決めたりできる。 なんで持ち出したのか それは、この2つの不等式を使うことで大事な大数の法則を証明できるから。

[mathjax] 二項分布において、(n)が極めて大きく、(p)が極めて小さくなる現実的な事象はとても多いとされる。 例えば、交通事故件数、破産件数、火災件数、砲弾命中数、遺伝子の突然変異数など。 あるECサイトにおけるLPへの到達を(n)、そのうちコンバージョンする確率を(p)などとしたとき。 （実際には、アクセス頻度が一定でないので、単純なポアソン分布でモデル化する訳ではないらしい。 ここでは単純化してアクセス頻度が一定であるという仮定をする） 超幾何分布から二項分布、そしてポアソン分布まで地続きで理解するとわかりやすい。 このケースで二項分布の式を計算しようとすると、 例えば(N=1000)、(p=0.003)、(x=3)であるとしたとき、 （例えば、1000回のPVがあり、3回コンバージョンした、コンバージョン確率は0.3%である、という条件） 数値計算上の誤差により演算が繊細で現実的でない。 begin{eqnarray} f(x) &=& {}_n C_x p^x (1-p)^{n-x} \\ &=& {}_{1000} C_3 0.003^3 (0.997)^{997} end{eqnarray} ここで、(n rightarrow infty, p rightarrow 0 )という極限を考えたとき、(np rightarrow lambda)となることを考える。 つまり、二項分布の式において以下が成り立つ。 begin{eqnarray} {}_n C_x p^x (1-p)^{n-x} rightarrow e^{-lambda} lambda^x /x! end{eqnarray} 右式が確率分布であることは指数関数のマクローリン展開を使って証明できる。 （これも無茶苦茶に鮮やかで気持ちがよい..） begin{eqnarray} sum_{x} f(x ) &=& sum_{x} e^{-lambda} lambda^x /x! \\ &=& e^{-lambda} sum_{x} lambda^x /x! \\ &=& e^{-lambda} cdot e^{lambda} \\ &=& 1 end{eqnarray} ポアソン分布において、期待値、分散は以下の通り。 奇跡的に、期待値も分散も同じ(lambda)となる。 begin{eqnarray} E(X) &=& lambda \\ V(X) &=& lambda end{eqnarray} ポアソン分布の分布図 平均、分散共に(lambda)ということで、分布は定数(lambda)だけによって決まる。 以下、(lambda)をばらけさせてExcelでプロットしてみた。 また、(lambda=3)における、確率密度関数と累積分布関数を同一軸でプロットしてみる。 (lambda=3)というのは、最初の(N=1000)、(p=0.003)という条件下である。 平均は(lambda=3)であるから、3回コンバージョンする確率が最も大きく、 確率密度関数は右に歪んでいて、以外と3回以上コンバージョンする確率の減少は緩やか。