不偏分散は\(\frac{1}{n} \sum_{i=1}^n (X_i-\bar{X})^2\)ではなく、\(\frac{1}{n-1} \sum_{i=1}^n (X_i-\bar{X})^2\)。
分母から1を引く必要がある。なんでか調べてみたので書いてみる。
標本平均は\(n\)の大小によらず母平均の近傍にあって、母平均に確率収束する。
標本平均は\(n\)の大小に関係なく、その期待値と母平均が等しい（不偏）。
\begin{eqnarray}
E(\bar{X}) &=& \frac{1}{n}n\mu = \mu \\
\lim_{n \rightarrow \infty} V(\bar{X}) &=& 0
\end{eqnarray}
100個のデータがあって、その中から5個取ったときの平均と、50個取ったときの平均に
母平均の推測という意味で違いがない。
では、分散はどうか。
定義通り標本の分散を\(S^2 = \frac{1}{n}\{ (X_1-\bar{X})^2 + (X_2-\bar{X})^2 + \cdots + (X_n-\bar{X})^2 \} \)とすると、
\(S^2\)は母分散と等しくならない。不偏にならない。つまり、\(E(S^2) \ne \sigma^2\)。
その値が不偏であるか否かは、実際に期待値を式変形してみるとわかる。
結論を知っていないと出来ない変形ばかりだけども…。
\begin{eqnarray}
E(S^2) &=& E\left[\frac{1}{n} \sum_{i=1}^n (x_i-\bar{X})^2 \right] \\
&=& \frac{1}{n} E\left[ \sum_{i=1}^n (x_i-\bar{X})^2 \right] \\
&=& \frac{1}{n} E\left[ \sum_{i=1}^n \left( (x_i-\mu)-(\bar{X}-\mu) \right)^2 \right] \\
&=& \frac{1}{n} E\left[ \sum_{i=1}^n (x_i-\bar{X})^2 -2\sum_{i=1}^n(x_i-\mu)(\bar{X}-\mu) + \sum_{i=1}^n (\bar{X}-\mu)^2 \right] \\
&=& \frac{1}{n} E\left[ \sum_{i=1}^n (x_i-\bar{X})^2 -2n (\bar{X}-\mu) +n (\bar{X}-\mu)^2 \right] \\
&=& \frac{1}{n} E\left[ \sum_{i=1}^n (x_i-\bar{X})^2 – n(\bar{X}-\mu)^2 \right] \\
&=& \frac{1}{n} \sum_{i=1}^n E\left[ (x_i-\mu)^2 \right] – E\left[ (\bar{X}-\mu)^2 \right] \\
&=& \frac{1}{n} \sum_{i=1}^n V(x_i) – V(\bar{X}) \\
&=& \sigma^2 – \frac{1}{n} \sigma^2 \\
&=& \frac{n-1}{n} \sigma^2
\end{eqnarray}
ということで、\(E(S^2)\ne \sigma^2\)。不偏でない。
では、どうすれば不偏な標本分散を得られるのか。
\(E(S^2)=\frac{n-1}{n} \sigma^2\)から、\(\frac{n}{n-1}E(S^2)=\sigma^2\)なので、\(s^2=\frac{n}{n-1}E(S^2)\)とすれば、
\(s^2=\sigma^2\)ということになり、\(s^2\)は不偏となる。\(s^2\)を不偏分散という。
\begin{eqnarray}
s^2 = \frac{n}{n-1} { (X_1-\bar{X})^2 + (X_2-\bar{X})^2 + \cdots + (X_n-\bar{X})^2 }
\end{eqnarray}
100個データがあって、10個データをとったときと、100個データをとったときの
\(E(S^2)\)の母分散とのズレは以下の通り。10個のとき\(E(S^2)\)をそのまま計算してしまうと、
その値は母分散から10%もズレてしまう。100個にしても1%ずれる。
\begin{eqnarray}
E(S_{10}^2) &=& \frac{9}{10}\sigma^2 \\
E(S_{100}^2) &=& \frac{99}{100}\sigma^2 \\
\end{eqnarray}