統計・確率のお勉強

統計学を中心に色々勉強するブログ

標本(不偏)分散の期待値, 分散[正規分布]

正規分布に従う確率変数の期待値, 分散等は統計に関連する本ならばまず間違いなく載っています. しかし, 標本(不偏)分散の期待値, 分散となってくるとなかなか取り扱っている本もサイトも少ない気がします. 定義から求めればいいといえばいいのですが, バカ正直に計算しようとすると結構大変です. 今回は標本分散の期待値, 分散について見ていこうと思います.

標本分散, 標本不偏分散の定義

標本分散S^2と標本不偏分散U^2を次のように書くことにします.

\begin{eqnarray}
S^2 &=& \frac{1}{n}\sum_{i=1}^{n} (X_i - \bar{X})^2 \\
U^2 &=& \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \bar{X})^2
\end{eqnarray}

モーメント

期待値の計算に際し, モーメントを用いるので, 正規分布積率母関数と, 1次と2次モーメントを計算おこうと思います. 正規分布N(\mu, \sigma^2)に従う確率変数X積率母関数M_X(t) = \exp(\mu t + \sigma^2 t^2 /2)であるので,


E(X) = \frac{d}{dt}M_X(t)|_{t=0} = (\mu + \sigma^2 t) e^{\mu t + \sigma^2 t^2/ 2}|_{t = 0} = \mu
E(X^2) = \frac{d^2}{dt^2} M_X(t)|_{t=0} = \sigma^2 e^{\mu t+\sigma^2 t^2/2} + (\mu + \sigma^2 t)^2 e^{\mu t + \sigma^2 t^2/2}|_{t=0} = \mu^2 + \sigma^2

ちなみに, 標本平均\bar{X}\sim N(\mu, \sigma^2/n)より, そのモーメントは,
 \displaystyle
E(\bar{X}) = \mu \\
E(\bar{X}^2) = \mu^2 + \frac{\sigma^2}{n}

標本分散

まず初めに標本分散の方の期待値を見ていこうと思います.

期待値

期待値の定義から,

\begin{eqnarray}
E(S^2) &=& E \left[ \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2 \right] \\
&=& E\left[ \frac{1}{n} \sum_{i=1}^{n} X_i^2 - \bar{X}^2\right] \\
&=& \frac{1}{n} \sum_{i=1}^{n} E(X_i^2) - E(\bar{X}^2)
\end{eqnarray}

先程求めたモーメントを考慮すると,

 \displaystyle
E(S^2) = \frac{1}{n} \cdot n( \mu^2 + \sigma^2 ) - (\mu^2 + \frac{\sigma^2}{n})
       = \sigma^2 - \frac{\sigma^2}{n}
       = \frac{n-1}{n} \sigma^2
となる.

分散

続いて分散について見ていく. ここでは, \frac{\sum(X_i - \bar{X})^2}{\sigma^2} = \frac{nS^2}{\sigma^2} \sim \chi_{n-1}^2となる事実を用いる.
自由度n-1カイ二乗分布の分散が2(n-1)であることから,(環境の都合で \sigma^2 = s^2で表記します.)
\begin{eqnarray}
V(\frac{nS^2}{s^2}) &=& 2(n-1) \\
\frac{n^2}{s^4}V(S^2) &=& 2(n-1)\\
V(S^2) &=& \frac{2(n-1)s^4}{n^2}
\end{eqnarray}
よって(表記を戻すと)V(S^2) = \frac{2(n-1)\sigma^4}{n^2}になることが分かる.

※なんか,はてなでeqnarray環境使うとギリシャ文字がうまくいかないんだよなあ...

標本不偏分散

続いて標本不偏分散を見ていきます. といってもやることはほとんど同じ. 標本不偏分散のほうが期待値も分散もきれいになります.

期待値

先ほどと同様に定義からでも求まりますが, U^2 = \frac{n}{n-1}S^2の関係を用いれば,

 {\displaystyle
E(U^2) = E \left( \frac{n}{n-1} S^2 \right) = \frac{n}{n-1} E(S^2) = \frac{n}{n-1} \frac{n-1}{n} \sigma^2 = \sigma^2
}

標本不偏分散なので当然といえば当然.

分散

標本分散の時と同様に\frac{(n-1)U^2}{\sigma^2} \sim \chi_{(n-1)}^2であることを用いる.
{\displaystyle
V(\frac{(n-1)U^2}{\sigma^2}) = 2(n-1) \\
\frac{(n-1)^2}{\sigma^4} V(U^2) = 2(n-1) \\
V(U^2) = \frac{2\sigma^4}{n-1}
}
となる.

※eqnarray環境使わなかったため見た目が悪くなってます.


分散の分散を馬鹿正直にやると4次モーメントまで考えなくてはならなかったり, 式もかなり煩雑になるので, カイ二乗分布から持ってくる方が簡単で便利だと思います.
国沢統計を読んで見ると「4次モーメントを考えると...」という記述があってやろうとしたのですが途中で挫折しました...