同時確率分布と周辺確率分布の関係と独立性の定義

確率変数XとYが微妙に連動して動くときに何が起こっているのか。
状態空間モデルとベイズ統計で理解が必須なので、全くわからないながらもまとめてみる。
2次元確率分布の共分散と相関係数は次回で、まずは確率変数の独立性について。

互いに独立

40近いおっさんが久々に数式をこねくりまわして、”互いに独立”の定義を読むところまで来た。
たぶん、厳密ではないんだろうけども…。

2つの確率変数X,Yがあったとして、X,Yの2変数からなる確率分布を検討する。
\(X=x\)であり同時に\(Y=y\)である確率\(P(X=x,Y=y)=f(x,y)\)とする。
\(f(x,y)\)の読み方は\(x,y\)の同時確率分布(joint probability distribution)。

確率分布なので、全部足したら1になる。
\begin{eqnarray}
\sum_x \sum_y f(x,y) = 1, f(x,y) \geq 0
\end{eqnarray}
X,Yという2次元の確率変数を使ったとして、それが同時に起こる事象Aも2次元となる。
（（X,Y)という全ての集合のうち、特別な事象Aを選んだとしてもAは2次元。）
\begin{eqnarray}
P((X,Y) \in A) = \sum _A \sum f(x,y)
\end{eqnarray}
X,Yを連続値としたとき、確率を定義できる空間（2次元ユークリッド空間\(S\)…）において、
X,Yが同時に起こる特別な事象A(\(S\)の部分集合)で定義できる。
(大学1年くらいにやるやつだ…)
\begin{eqnarray}
\iint_S f(x,y)dydx = 1, f(x,y) \geq 0 \\
P((X,Y) \in A) = \iint_A f(x,y)dydx
\end{eqnarray}

２変数の片方について合計、または積分した分布を検討する。
この分布の呼び方は周辺確率分布(marginal probability distribution)。
\begin{eqnarray}
g(x) &=& \sum_y f(x,y) \\
h(x) &=& \sum_x f(x,y)
\end{eqnarray}

ここからが「互いに独立」の定義の読み方。

2変数関数を片方の変数で積分して1変数にする方向の操作は可能で、
そうやって同時確率分布から周辺確率分布を求められる。
離散型の場合はマトリクスの縦・横いずれかを固定してループして足す操作。

では、それぞれの周辺分布関数の値から同時確率分布の値を求められるか？？
この操作は出来る場合と出来ない場合がある。

出来る例は（既に互いに独立であることを意識しつつも）2つのサイコロ振り。
サイコロ1の目\(X_1\)とサイコロ2の目\(X_2\)について、同時確率分布、周辺確率分布が以下であるとする。

周辺確率の積が同時確率の積にならないケースがない。
かなり稀なケース。

出来ない例は、上記の奇跡的なケース以外の全てで、
以下の通り、周辺確率を掛け合わせても同時確率にならない。

同時確率が全て\(\frac{1}{9}\)であれば、周辺確率の積から同時確率の積を計算できるがそうでない。
\(\frac{1}{9}\)と比較して大きい同時確率、小さい同時確率が存在するということは、
\(X_1,X_2\)が協調して動く傾向の度合いが効いている。

日本工業規格の定義は、
「互いに独立」の必要十分条件は、「周辺分布関数の積が同時分布関数になること」。