カテゴリー: 教養

[mathjax] 確率の基本を最初からじっくり読み進めてみる。 そもそもロクにわかってないことがわかる。 確率の加法について今更\"おっ？\"と思ったのでまとめてみる。 排反事象の確率の和と一般の事象の確率の和の関係 事象(A)と事象(B)が排反であるとき以下が成り立つ。 begin{eqnarray} P(Acup B)=P(A)+P(B) end{eqnarray} これは、事象(A)と事象(B)の排反でない場合の確率(P(Acup B))について 事象(A)と事象(B)が排反である、という特殊な条件を付けたものになっている。 (P(Acup B))は3つの排反事象の確率(P(Acap B^c),P(A^c cap B),P(Acap B))の和に分解できる。 begin{eqnarray} P(Acup B) = P(Acap B^c) + P(A^c cap B) + P(Acap B) end{eqnarray} 事象(A)を以下のように分解する。 begin{eqnarray} A &=& (Acap B^c)cup (Acap B)\\ B &=& (Acap B)cup (A^C cup B) end{eqnarray} ((Acap B^c))と((Acap B) )は排反、((Acap B))と((A^C cup B))も排反。 なので、 begin{eqnarray} P(A) &=& P(Acap B^c) + P(Acap B) \\ P(B) &=& P(Acap B) + P(A^C cup B) end{eqnarray} 2つ足すと、 begin{eqnarray} P(A)+P(B) &=& 2 P(Acap B) + P(Acap B^c) + P(A^C cup B) end{eqnarray} これ、以下のように変形できてしまう。 begin{eqnarray} P(Acap B) &=& P(A) + P(B) - P(Acup B) end{eqnarray} ここまで来てようやく... (A)が起きる確率と(B)が起きる確率の和は、それぞれを足したものから重複部分の確率を引いたもの。 (A)と(B)が排反事象の場合に限って(P(Acup B)=phi)だから、(P(A)+P(B))となる。

[mathjax] 時系列データと自己相関係数、コレログラムについてまとめてみる。 自己相関係数 時間の経過と共に得られた(n)個のデータ(x_1,x_2,cdots,x_n)（時系列データ）があるとする。 (x)から(h)だけずらしたデータ(y=x_{1+h},x_{2+h},cdots,x_{n+h})との相関係数を遅れhの自己相関係数という。 (n)個のデータの平均(bar{x})は、 begin{eqnarray} bar{x}=frac{(x_1+cdots+x_n)}{n} end{eqnarray} 相関係数を以下のように定義す模様。 begin{eqnarray} r_h = frac{frac{1}{n-h}(x_i-bar{x})(x_{i+h}-bar{x})}{frac{1}{n}sum_{i=1}^n (x_i-bar{x})^2} end{eqnarray} (x_i)に周期性があれば、周期が一致する(h)のところで、 例えば日を跨いだ同じ時間に当たる(h)に差しあたるところで、 相関係数が大きくなるはず。 (r_h>0)ということは、各時点の傾向は(h)時点先に持続するということ。 (r_h<0)ということは、各時点の傾向は(h)時点先に反転するということ。 コレログラム (h)を0から大きくしていくことで(r_h)が上下するが、 その推移を見ることで、時系列データの周期の見当をつけることができる。

[mathjax] みかけ上の相関 データセット((x_i,y_i))について高い相関係数が得られた場合に、 必ずしも(x_i)と(y_i)の間に相関があると言えない。 例えば、「金持ちの人ほど朝方である」というやつ。 所得(x_i)と起床時間(y_i)が揃ったデータセットなんてどこで取るのか知らないけど。 ((x_i,y_i))を散布図にプロットしていくと、綺麗に正の相関が現れるらしい。 相関係数(r_{xy})は1に近づき、相関係数だけ見ると相関がありそうに見えてしまう。 これには年齢(z_i)というデータが隠れていて、 年齢が高いほど高所得である場合が多く、早起きだという事実がある。 つまり(r_{zx})、(r_{zy})は1に近い値になる。 偏相関係数 本来背後にある考慮あれていない因子（ここで言う年齢)のことを交錯因子と言うらしい。 交錯因子の影響を取り除いたあとの補正済みの相関係数（偏相関係数)を計算できてしまう。 以下の(r_{xy cdot z})は、(z_i)の影響を除いた後の(x_i)と(y_i)の相関係数。 begin{eqnarray} r_{xy cdot z} = frac{r_{xy}-r_{xz}r_{yz}}{sqrt{1-r_{13}^2}sqrt{1-r_{23}^2}} end{eqnarray}

[mathjax] ちょっと良くわかってなかったので改めて読み直してみた。 ものすごく分かりやすかったのでまとめてみる。 共分散(C_{xy}),標準偏差(S_x,S_y)と相関係数(r_{xy})の関係 2次元のデータ((x_1,y_1),(x_2,y_2),cdots,(x_n,y_n))が与えられた場合、 変数(x)と(y)の相関係数(r_{xy})は、それぞれの標準偏差(S_x,S_y)と、共分散(C_{xy})を使って以下となる。 begin{eqnarray} r_{xy} &=& frac{C_{xy}}{S_x S_y} \\ &=& frac{sum_{i=1}^n(x_i-bar{x})(y_i-bar{y})/n}{sqrt{sum_{i=1}^n{(x_i-bar{x})^2}/n} sqrt{sum_{i=1}^n{(y_i-bar{y})^2}/n}} \\ &=& frac{sum_{i=1}^n(x_i-bar{x})(y_i-bar{y})}{sqrt{sum_{i=1}^n{(x_i-bar{x})^2}} sqrt{sum_{i=1}^n{(y_i-bar{y})^2}}} \\ end{eqnarray} 幾何学的な意味 共分散の分母は常に正なので、符号は分子による。 つまり、(x_i-bar{x} ge 0)かつ(y_i-bar{y} ge 0)の場合か (x_i-bar{x} le 0)かつ(y_i-bar{y} le 0)の場合に(r_{xy} ge 0) (x_i-bar{x} ge 0)かつ(y_i-bar{y} le 0)の場合か (x_i-bar{x} le 0)かつ(y_i-bar{y} ge 0)の場合に(r_{xy} le 0) (r_{xy} ge 0)であるデータが(r_{xy} le 0)であるデータよりも多ければ(r_{xy})は正の方向に大きくなる。 逆に(r_{xy} ge 0)であるデータが(r_{xy} le 0)であるデータよりも少なければ(r_{xy})は負の方向に大きくなる。 (r_{xy} ge 0)であるデータと(r_{xy} le 0)であるデータが拮抗すると(r_{xy})は0に近づく。 (y_i = frac{S_y}{S_x}(x_i-bar{x})+bar{y})のとき、 すなわち(y_i = frac{S_y}{S_x}x_i + bar{y}-bar{x}frac{S_y}{S_x})という直線に全てのデータが乗っているとき、 (r_{xy}=+ 1)となる。(x_i)が増加すれば(y_i)が増加するデータ。正の完全相関。 逆に(y_i = -frac{S_y}{S_x}(x_i-bar{x})+bar{y})のとき、 すなわち(y_i = -frac{S_y}{S_x}x_i-bar{y}+bar{x}frac{S_y}{S_x} )という直線に全てのデータが乗っているとき、 (r_{xy}=- 1)となる。(x_i)が増加すれば(y_i)が減少するデータ。負の完全相関。 相関係数(r_{xy})が(-1 le r_{xy} le 1)を満たすことの証明 一般正規分布を標準正規分布にする際の変換で出てきたように、 平均が0、標準偏差が1の分布に変換する。 変換後の分布(z_i,w_i)はそれぞれを下記の通り。 begin{eqnarray} z_i = frac{x_i-bar{x}}{S_x} \\ w_i = frac{y_y-bar{y}}{S_y} end{eqnarray} これらの分布を使って相関係数(r_{xy})を書き直すと以下のようになって、 (z_i)、(w_i)の共分散と等しいことがわかる。 begin{eqnarray} r_{xy} &=& frac{1}{n}sum_{i=1}^n z_i w_i \\ &=& frac{1}{n}sum_{i=1}^n (z_i-bar{z}) (w_i-bar{w}) \\ &=& C_{zw} end{eqnarray} 相関係数(r_{xy})が(-1 le r_{xy} le 1)を満たすことの証明は以下のようにやる様子。 begin{eqnarray} frac{1}{n} sum_{i=1}^n (z_i pm w_i)^2 &=& frac{1}{n} sum_{i=1}^n (z_i^2 pm 2z_i w_i + w_i^2) \\ &=& frac{1}{n} sum_{i=1}^n z_i^2 pm frac{2}{n} sum_{i=1}^n z_iw_i + frac{1}{n} sum_{i=1}^nw_i^2 end{eqnarray} 標準化された分布(z_i)、(w_i)について以下が成り立つ。 begin{eqnarray} 　frac{1}{n}sum_{i=1}^n z_i^2 &=& 1 \\ 　frac{1}{n}sum_{i=1}^n w_i^2 &=& 1 end{eqnarray} なので、 begin{eqnarray} frac{1}{n} sum_{i=1}^n (z_i pm w_i)^2 &=& 1 pm 2r_{xy} + 1 \\ &=& 2(1 pm r_{xy}) end{eqnarray} 左辺は常に正なので、( 1 pm r_{xy} ge 0 )が言える。 つまり、(-1 le r_{xy} le 1 ) が言える。

[mathjax] Excelは統計関数が充実している 一緒にPythonとRを習得した方が良いのだろうけど、Excelでも結構やれるらしいので、 Excelでカイ二乗分布曲線を描いてみる。 やり方 カイ二乗分布の確率密度関数は以下の通り。 begin{eqnarray} f_n(x) = frac{1}{2^{frac{n}{2}}Gamma({frac{n}{2}})}x^{frac{n}{2}-1}e^{-frac{x}{2}} end{eqnarray} Excelには確率密度関数と累積分布関数を取得する関数が標準で備わっている。 CHISQ.DIST((x),(n),関数形式) 関数形式がTRUEの場合は累積分布関数、 FALSEの場合は確率密度関数。 (x)と(n)の2変数関数なので、行,列をそれぞれに割り当ててクロスするところが値。 自由度=1のとき(x=0)で無限大に発散するのに注意が必要。 (0 lt x lt 1)の区間で形が変わるのでそれも注意が必要。 確率密度関数のグラフをプロットすると以下のようになる。 累積分布関数のグラフは以下。 確率密度関数の積分グラフですかね。 自由度=3のときの確率密度関数のグラフと累積分布関数のグラフを並べてみる。 (x=7.5)くらいに確率密度関数の値が(0.025)くらいになる。 (x lt 7.5)の面積が(0.975)くらい、または(x gt 7.5)の面積が(0.025)くらい。 つまり、(int_{0}^{7.5}f_3(x) = 0.975)くらいで、(int_{7.5}^{infty}f_3(x) = 0.025)という意味。 (x=7.5)くらいのとき累積分布関数の値が(0.975)くらいになる。 標準正規分布に従う3個の変数の二乗和の97.5%は7.5より小さい。

[mathjax] 母平均(mu)、標準偏差(sigma)の正規分布から(n)個の標本を無作為抽出したとき、 (n)個の標本について二乗和(V)を計算した場合(V)はどのような分布をするか。 begin{eqnarray} V = x_1^2 + x_2^2 + cdots + x_n^2 end{eqnarray} (V)の分布は自由度nのカイ二乗分布になる。 なお、実際にデータを表示してみた記事は以下。 [clink url=\"https://ikuty.com/2019/08/12/chi-square-distribution_handson/\"] 証明の式変形が気持ち良いことで有名?なので1度やってみる。 証明が奇跡的だったのでまとめてみる 自由度(n)のカイ二乗分布の確率密度関数。 これでもかっ、というくらいにいろいろ乗っかってる。 begin{eqnarray} f_n(x) = frac{1}{2^{frac{n}{2}}Gamma({frac{n}{2}})}x^{frac{n}{2}-1}e^{-frac{x}{2}} end{eqnarray} 標準正規分布と同じ扱いで、 (x)に関する積分が1になるようにガンマ関数による定数項がついてる。 勢い以下のような見方になる。 begin{eqnarray} f_n(x) = left( frac{1}{2^{frac{n}{2}}Gamma({frac{n}{2}})} right) x^{frac{n}{2}-1} e^{-frac{x}{2}} end{eqnarray} [arst_adsense slotnumber=\"1\"] だから何なのか、と思うけども、一度は証明を見ておくと良し、という意見がある。 ド直球に、標準正規分布の確率密度関数から2乗和の分布を求めようとして、 奇跡的に上記の確率密度関数になってかなり面白かったのでまとめてみた。 (n=1)のときの証明 (X)が標準正規分布に従うときの確率密度関数は以下。 begin{eqnarray} f(x) = frac{1}{sqrt{2pi}}e^{-frac{x^2}{2}} end{eqnarray} このとき(X)の2乗の分布(Y=X^2)の分布を考えようとするとき、 (Yle y)となる確率(P(Yle y))は、 begin{eqnarray} P(Yle y) = P(-sqrt{y} le X le sqrt{y}) end{eqnarray} となるので、(Y)の確率分布関数(F(y))は、 begin{eqnarray} F(y) &=& int_{-sqrt{y}}^{sqrt{y}}f(x)dx \\ &=& 2 int_{0}^{sqrt{y}}f(x)dx end{eqnarray} (y=x^2)という変数変換をして微分すると、(frac{dy}{dx}=2x)から、(dy=2xdx=2sqrt{y}dx)。 これを使って書き直すと、（コレ考えたやつ頭おかしい...） begin{eqnarray} F(y) &=& 2int_{0}^{sqrt{y}}frac{1}{sqrt{2pi}}e^{-frac{x^2}{2}}dx \\ &=& 2 frac{1}{2} int_{0}^{sqrt{y}}frac{1}{sqrt{2pi}y}e^{-frac{x^2}{2}}dy \\ &=& int_{0}^{sqrt{y}}frac{1}{sqrt{2pi}y}e^{-frac{y}{2}}dy \\ &=& int_{0}^{sqrt{y}}frac{1}{2^{frac{1}{2}}sqrt{pi}}y^{-frac{1}{2}}e^{-frac{y}{2}}dy \\ end{eqnarray} ガンマ関数(Gamma(n))って何だっけ...、というところで力尽きた。 (Gamma(frac{1}{2}))だけ複素数にならず(sqrt{pi})になる。 (F(y))をガンマ関数を入れて書き直すと、 begin{eqnarray} F(y) = int_{0}^{sqrt{y}}frac{1}{2^{frac{1}{2}}Gamma(frac{1}{2})}y^{-frac{1}{2}}e^{-frac{y}{2}}dy \\ end{eqnarray} この式は奇跡的に(n=1)のとき、カイ二乗分布の確率密度関数になってる。 begin{eqnarray} f_1(x) &=& frac{1}{2^{frac{1}{2}}Gamma({frac{1}{2}})}x^{frac{1}{2}-1}e^{-frac{x}{2}} end{eqnarray} [arst_adsense slotnumber=\"1\"] (n ge 2)のときの証明 数学的帰納法で証明する。このワード、何年振りだろうか...。 Wikipediaによると、 数学的帰納法（すうがくてききのうほう、英: mathematical induction）は自然数に関する命題 P(n) が全ての自然数 n に対して成り立っている事を証明するための、次のような証明手法である。 P(1) が成り立つ事を示す。 任意の自然数 k に対して、「P(k) ⇒ P(k + 1)」が成り立つ事を示す。 以上の議論から任意の自然数 n について P(n) が成り立つ事を結論づける。 準備として、確率密度関数の畳み込みについて。 2つの確率変数(X_1)、(X_2)が互いに独立に標準正規分布に従い、 (Y_1=X_1^2)、(Y_2=X_2^2)とおいたとき、(Z=Y_1+Y_2)が従う確率密度関数を求める。 確率変数(Y_1)、(Y_2)双方とも、確率密度関数(h_1(x))に従うときは、 (x=y_1+y_2, y_1,y_2 ge 0, z ge 0)に注意して、 以下を計算することで確率変数(Z=Y_1+Y_2=X_1^2+X_2^2)が従う確率密度関数が求まる。 begin{eqnarray} h_2(x) = int_0^{z}h_1(y)h_1(z-y)dy end{eqnarray} (P(1))は既に示されている。任意の自然数 (n) に対して、「(P(n) ⇒ P(n + 1))」が成り立つ事を示す。 (Y=X_1^2+X_2^2+cdots+X_{n-1}^2)が自由度(n-1)のカイ二乗分布に従い、 (X_n^2)が自由度(1)のカイ二乗分布に従うとき、(Y+X_n)が自由度(n)のカイ二乗分布に従うことを示す。 示すのは以下。 begin{eqnarray} f_n(x) = int_{0}^{x}f_{n-1}(t)f_1(x-t)dt end{eqnarray} 右辺を展開していく。 begin{eqnarray} int_{0}^{x} frac{1}{2^{frac{n-1}{2}}Gamma(frac{n-1}{2})}t^{frac{n-3}{2}} e^{-frac{x}{2}} cdot frac{1}{2^{frac{1}{2}}Gamma({frac{1}{2})}}t^{-frac{1}{2}}e^{-frac{x}{2}} end{eqnarray} (t)に対する定数項を積分の外に出せる。 begin{eqnarray} frac{e^{-frac{x}{2}}}{2^{frac{n}{2}}Gamma(frac{n-1}{2})sqrt{pi}} int_{0}^{x}t^{frac{n-3}{2}}(x-t)^{-frac{1}{2}}dt end{eqnarray} ここで(u=frac{t}{x})とおくと、(frac{du}{dt}=frac{1}{x})だから、(dt=xdu)。 変数を置き換える。奇跡的に(x)が積分の外に出る。 begin{eqnarray} frac{e^{-frac{x}{2}}}{2^{frac{n}{2}}Gamma(frac{n-1}{2})sqrt{pi}} int_{0}^{1}(ux)^{frac{n-3}{2}}(x-ux)^{frac{1}{2}}xdu \\ = frac{e^{-frac{x}{2}}}{2^{frac{n}{2}}Gamma(frac{n-1}{2})sqrt{pi}} int_{0}^{1}x^{frac{n-3}{2}} u^{frac{n-3}{2}} x^{frac{1}{2}}(1-u)^{frac{1}{2}}xdu \\ = frac{e^{-frac{x}{2}}x^{frac{n-3}{2}-frac{1}{2}+1}}{2^{frac{n}{2}}Gamma(frac{n-1}{2})Gamma(frac{1}{2})} int_{0}^{1} u^{frac{n-3}{2}}(1-u)^{-frac{1}{2}}du end{eqnarray} 積分の部分は、昔みた覚えがあるけど、もう力尽きたので結論だけ... 以下の関係式があって、 begin{eqnarray} B(p,q) &=& int_{0}^{1} x^{p-1}(1-x)^{q-1}dx \\ &=& frac{Gamma(p)Gamma(q)}{Gamma(p+q)} end{eqnarray} (p,q)を以下のように選ぶと、 begin{eqnarray} B(frac{n-1}{2},frac{1}{2}) = frac{Gamma(frac{n-1}{2})Gamma(frac{1}{2})}{Gamma(frac{n}{2})} end{eqnarray} これを使って式を書き直すと、一気に約分されて自由度(n)のカイ二乗分布の式が現れる。 begin{eqnarray} frac{e^{-frac{x}{2}}x^{frac{n-3}{2}-frac{1}{2}+1}}{2^{frac{n}{2}}Gamma(frac{n-1}{2})Gamma(frac{1}{2})} int_{0}^{1} u^{frac{n-3}{2}}(1-u)^{-frac{1}{2}}du \\ = frac{e^{-frac{x}{2}}x^{frac{n-3}{2}-frac{1}{2}+1}}{2^{frac{n}{2}}Gamma(frac{n-1}{2})Gamma(frac{1}{2})} frac{Gamma(frac{n-1}{2})Gamma(frac{1}{2})}{Gamma(frac{n}{2})} \\ = frac{1}{2^{frac{n}{2}}Gamma({frac{n}{2}})}x^{frac{n}{2}-1}e^{-frac{x}{2}} \\ = f_n(x) end{eqnarray} Q.E.D.!! あぁ、これは気持ち良い。 [arst_adsense slotnumber=\"1\"]

[mathjax] 機械が出力した結果を観測すると、観測結果がある平均値を中心として誤差内に含まれ、 その分布が正規分布を成すことがわかる。 既に存在する機械の誤差（標準偏差）は既知であり、 既知の標準偏差を使って、母平均を予測することができる。 予測の仕方は、95%信頼区間を使う。 母平均を推定する例 ドリンク製造装置があったとする。 このドリンク製造装置は標準偏差=12の誤差でドリンクを製造できる。 ドリンクを36個製造したとき、ドリンクの量の標本平均が370mlであった。 母集団が、母平均(mu)、標準偏差(sigma)の正規分布である場合、 母平均の95%信頼区間は、 begin{eqnarray} -1.96 leq frac{x-mu}{sigma} leq 1.96 end{eqnarray} この母手段から、(N)個の標本を観測したなら、 標本の分布は、標本平均(mu)、標準偏差(frac{sigma}{sqrt{N}})の正規分布となる。 標本平均の95%信頼区間は、 begin{eqnarray} -1.96 leq frac{bar{x}-mu}{frac{sigma}{sqrt{N}}} leq 1.96 end{eqnarray} 今、(N=36)、(bar{x}=370)、(sigma=12)なので、 それを入れてみる。 begin{eqnarray} -1.96 leq frac{370-mu}{frac{12}{sqrt{36}}} leq 1.96 \\ -1.96 leq frac{370-mu}{2} leq 1.96 \\ -3.92-370 leq -mu leq 3.92-370 \\ 366.08 leq mu leq 373.92 end{eqnarray} 母平均が棄却されない区間は、(366.08 leq mu leq 373.92)となる。 標本の数(N)が増えれば増えるほど95%信頼区間が狭くなっていき、 母平均をドンピシャで当てる確度が上がっていく。

[mathjax] 平均(mu)、標準偏差(sigma)からなる母集団から標本を取り出したとき、 標本の平均は母集団の平均(mu)に収束する。 では、もう一つの統計量である標準偏差はどうか。 意外と簡単にわかるようなのでまとめてみる。 誤差伝播法則 まず、下準備として、加法の誤差の見積もりについて。 今、(M_1)というサンプルが誤差(epsilon_1)、(M_2)というサンプルが誤差(epsilon_2)を持つとする。 つまり、それぞれ(M_1pmepsilon_1)、(M_2pmepsilon_2)。 その上で、((M_1pmepsilon_1) pm (M_2pmepsilon_2) ) について誤差の項をどう見積れるか、という話。 例えば以下の関係があったとき、 begin{eqnarray} z &=& f(x,y) end{eqnarray} 以下とすると、 begin{eqnarray} x &=& x_0 pm e_x \\ y &=& y_0 pm e_y end{eqnarray} (z)は、以下のようになる。 begin{eqnarray} z &=& z_0 pm e_z end{eqnarray} ここで(e_z)は以下となる（公式）。 偏微分とか何年振りだよ..と、思うがなんとなく確率の式より把握しやすい。 begin{eqnarray} e_z = sqrt{left( frac{partial f}{partial x} right)^2 e_x^2 + left( frac{partial f}{partial y} right)^2 e_y^2} end{eqnarray} 最初のサンプルと誤差を上記に入れてみると、 begin{eqnarray} sigma &=& sqrt{left( frac{partial (M_1+M_2)}{partial M_1} epsilon_1 right)^2 + left( frac{partial (M_1+M_2)}{partial M_2} epsilon_2 right)^2} = sqrt{ epsilon_1^2 + epsilon_2^2 } end{eqnarray} 両辺2乗して、 begin{eqnarray} sigma^2 &=& left( frac{partial (M_1+M_2)}{partial M_1} epsilon_1 right)^2 + left( frac{partial (M_1+M_2)}{partial M_2} epsilon_2 right)^2 = epsilon_1^2 + epsilon_2^2 end{eqnarray} ここから一番最初に戻ると、 begin{eqnarray} (M_1 pm epsilon_1) pm (M_2 pm epsilon_2) end{eqnarray} 上の誤差伝播式から以下が導かれる。 誤差項は以下の通りとなる様子。 begin{eqnarray} (M_1 pm M_2 ) pm sqrt{( epsilon_1^2 + epsilon_2^2 )} end{eqnarray} [arst_adsense slotnumber=\"1\"] ルートnの法則 母集団から(N)個のサンプルを取り出したときの平均は以下の通り。 begin{eqnarray} bar{x} = frac{x_1+x_2+cdots+x_N}{N} end{eqnarray} どの(x_i)も同じ母集団から取り出したサンプルなので、 それぞれの標準偏差は以下の通り全て同じ。 begin{eqnarray} sigma_1 = sigma_2 = cdots = sigma_N = sigma end{eqnarray} (bar{x})は真の値に誤差を加算した値であるが、誤差項は誤差伝播法則から以下の通りとなる。 begin{eqnarray} sqrt{sigma_1^2 + sigma_2^2 + cdots + sigma_N^2} = sqrt{sigma^2 + sigma^2 + cdots + sigma^2} = sqrt{N}sigma end{eqnarray} サンプル1個あたりの誤差、つまり標準偏差は、 begin{eqnarray} frac{sqrt{N}sigma}{N} = frac{sigma}{sqrt{N}} end{eqnarray} まとめ 平均(mu)、標準偏差(sigma)からなる母集団から標本を取り出したとき、 標本の平均は母集団の平均(mu)と等しい。 標本の標準偏差は( frac{sigma}{sqrt{N}} )である。 特に、標準偏差が(1/sqrt{N})倍となり、母集団と比較してより狭い範囲に値が集中する。 [arst_adsense slotnumber=\"1\"]

[mathjax] 統計の基本中の基本らしい もう、統計の基本中の基本らしい大数の法則。 ランダムサンプリングした標本から母集団を推測できる話の根幹。 ビッグデータを全量検査しなくても同じかもしれない。 不明な母集団から観測値(x)を記録していくと、 観測値(x)の平均（標本平均）は母集団の平均（母平均）に収束する 母集団がよくわかってなくても、 母集団が十分に混ざり合っていれば、 いくつか標本を取るだけで母集団の平均がだいたいわかる。 コイン投げで出る表の数の母平均は0.5だろうけども、 10回投げて4回出た -> 0.4、 100回投げて53回出た -> 0.53。 1000回投げて490回出た -> 0.49、 ... のようにしていくと0.5に近づいていく。 単に収束する、というのと別に、統計の分野では「確率収束」という言葉がある。 範囲をもった確率値が振れながら一定の確率に近づいていくことを言うんだろう。（ざっくり） 大数の法則の弱法則の証明を見てなるほどと思ったので複写してみる。 無理やりだが結構すぐに証明できる とってつけたようにマルコフの不等式とチェビシェフの不等式があれば、 無理やりだけども簡単に証明できる。 マルコフの不等式、チェビシェフの不等式の証明と意味はこちら。 https://ikuty.com/2018/07/06/rare_observation/ 大数の法則の弱法則は以下の通り定式化される。 平均(mu)、標準偏差(sigma)という分布があるとする。 互いに独立な事象が起こる確率の確率変数(X_1,X_2,cdots,)と任意の(epsilon ge 0)について、 begin{eqnarray} lim_{ntoinfty}Pleft(left|frac{X_1+X_2+cdots+X_n}{n}-muright|ge epsilonright)=0 end{eqnarray} 標本平均と母平均の差が(epsilon)より大きくなる確率が0に収束する。 これを証明する。 まず(Y_n)を以下とする。 begin{eqnarray} Y_n = frac{X_1+X_2+cdots+X_n}{n} end{eqnarray} 期待値の定義から、 begin{eqnarray} E(Y_n) &=& frac{nmu}{n} \\ &=& mu end{eqnarray} 分散の定義から、 begin{eqnarray} V(Y_n) &=& frac{nsigma^2}{n^2} \\ &=& frac{sigma^2}{n} end{eqnarray} チェブシェフの不等式として以下が成りたつ。 begin{eqnarray} P(|Y_n-mu|ge a) le frac{E(|Y_n-mu|^2)}{a^2} end{eqnarray} 右辺の分子を分散で書き換えると、 begin{eqnarray} P(|Y_n-mu|ge a) le frac{sigma^2}{na^2} end{eqnarray} 両辺のnの極限をとると、 begin{eqnarray} lim_{n to infty} P(|Y_n-mu|ge a) &le& lim_{n to infty } frac{sigma^2}{na^2} \\ lim_{n to infty} P(|Y_n-mu|ge a) &le& 0 end{eqnarray} なので示された。 都合よくチェビシェフの不等式がある感じだけど、あれば簡単。 さて、ではどういうことか 式をこねくり回しても意味がないので、 少し考えてみる。

[mathjax] レアな観測がレアであることの定式化 マルコフの不等式。 任意の確率変数(X)と(agt 0)に対して以下が成りなってしまう。 begin{eqnarray} P(|X|ge a) le frac{E[|X|]}{a} end{eqnarray} ( k=a/E(X) )とおくと以下となり、 平均の(k)倍を超える確率が(frac{1}{k})以下であることを意味する。 begin{eqnarray} P(|X| ge k E[|X|]) le frac{1}{k} end{eqnarray} 証明は以下の通りにする模様。 結構簡単に導かれる。 begin{eqnarray} E(|X|) &=& sum_{x}|x|P(X=a) \\ &ge& sum_{x:|x|ge a}|x|P(x=a) \\ &ge& sum_{x:|x|ge a}aP(x=a) = a P(|x|ge a) \\ end{eqnarray} 大数の法則の弱法則の証明のためにマルコフの不等式をいじる。 (a = a^2)、(X = (X-mu)^2)とおく。 マルコフの不等式は以下のようになる。 begin{eqnarray} P(|x-mu|ge a) le frac{E(|X-mu|^2)}{a^2} end{eqnarray} チェビシェフの不等式という名前が付いているらしい。 ちなみに、 チェビシェフの不等式について、 begin{eqnarray} P(|X-mu|ge a) &le& frac{sigma^2}{na^2} \\ end{eqnarray} (a)を(ksigma)とする。 begin{eqnarray} P(|X-mu|ge ksigma) &le& frac{sigma^2}{nk^2sigma^2} \\ &=& frac{1}{nk^2} \\ &le& frac{1}{k^2} end{eqnarray} これはどういうことか。 平均から(ksigma)離れたデータはたかだか全体の(frac{1}{k^2})しか存在しない。 凄まじい。 母集団が平均(mu)、標準偏差(sigma)をもつ正規分布である場合、 全体の97.5%が(2sigma)の区間に存在することを利用して、仮説検定、信頼区間を決めたりしてたが、 正規分布でない一般の分布においても(k)を上手く決めることで、同様に仮説検定、信頼区間を決めたりできる。 なんで持ち出したのか それは、この2つの不等式を使うことで大事な大数の法則を証明できるから。