共分散と相関係数の定義について過去に書いていた。
そもそも共分散が発生するのは、2つの確率変数が連動して動くから。
2つの確率変数が独立している場合は、共分散、相関係数共にゼロ。
共分散の定義
まず、共分散、相関係数の定義はこの通り。
2次元のデータ\((x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\)が与えられた場合、
変数\(x\)と\(y\)の相関係数\(r_{xy}\)は、それぞれの標準偏差\(S_x,S_y\)と、共分散\(C_{xy}\)を使って以下となる。
\begin{eqnarray}
r_{xy} &=& \frac{C_{xy}}{S_x S_y} \\
&=& \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})/n}{\sqrt{\sum_{i=1}^n{(x_i-\bar{x})^2}/n} \sqrt{\sum_{i=1}^n{(y_i-\bar{y})^2}/n}} \\
&=& \frac{\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_{i=1}^n{(x_i-\bar{x})^2}} \sqrt{\sum_{i=1}^n{(y_i-\bar{y})^2}}} \\
\end{eqnarray}
そもそもの共分散
確率変数\(X\),\(Y\)があったとする。それぞれの期待値は\(E(X)\),\(E(Y)\)、分散は\(V(X),V(Y)\)。
定義通りに\(V(X+Y)\)を式展開していくと以下の通りになる。
\begin{eqnarray}
V(X+Y) &=& E(((X+Y)-\mu_{X+Y})^2) \\
&=& E((X+Y-\mu_x-\mu_y)^2) \\
&=& E(((X-\mu_x) + (Y-\mu_y))^2) \\
&=& E((X-\mu_x)^2) + E((Y-\mu_y)^2) + 2E((X-\mu_x)(Y-\mu_y)) \\
&=& V(X) + V(Y) + 2E((X-\mu_x)(Y-\mu_y)) \\
&=& V(X) + V(Y) + 2C_{xy}
\end{eqnarray}
ここで、\(C_{xy}=2E((X-\mu_x)(Y-\mu_y))\)を共分散としている。
\(V(X+Y)\)は、\(V(X)\)と\(V(Y)\)の和に\(C_{xy}\)で補正をかけた値になっている。
では、\(X\)と\(Y\)が独立であるとなぜ\(C_{xy}=0\)になるのか。
\(C_{xy}\)を式変形していくと以下のようになるが、
\begin{eqnarray}
\frac{1}{2} C_{xy} &=& E((X-\mu_x)(Y-\mu_y)) \\
&=& E(XY)-\mu_yE(X)-\mu_xE(Y) +\mu_x \mu_y \\
&=& E(XY) -\mu_x \mu_y – \mu_x \mu_y + \mu_x \mu_y \\
\end{eqnarray}
\(X\)と\(Y\)が独立であると\(E(XY)=E(X)E(Y)=\mu_x \mu_u\)となるから、
\begin{eqnarray}
\frac{1}{2} C_{xy} &=& E(XY) -\mu_x \mu_y – \mu_x \mu_y + \mu_x \mu_y \\
&=& \mu_x \mu_y-\mu_x \mu_y – \mu_x \mu_y + \mu_x \mu_y \\
&=& 0
\end{eqnarray}
こうやって、独立であるなら共分散がゼロといえる。