統計,確率のお勉強

統計学を主に勉強しています。勉強したことをアウトプットしていきます。 (※数式はMathJaxにより描画されています。ロードに少し時間がかかることがあります。)

Study Probability & Statistics

確率統計の理論と実践

ベイズ統計:パラメータの点推定

久しぶりなので少し短めに・・・
大学卒業して少し統計離れてましたけど、土日やることもないので、前々から気になっていたベイズ統計の勉強でも少しづつ始めていこうと思います。

パラメータの点推定

点推定
未知であるパラメータの値をデータから推定すること

通常の統計学なら不偏推定量とか、最小分散不偏推定量とか、十分統計量とかありました。それのベイズ版です。

ベイズ分析におけるパラメータの点推定は、パラメータに真の値と点推定の乖離度をある尺度(損失関数)ではかり、この損失関数が出来る限り小さくなるようにすることを考えます。

ここからは、パラメータ  \pi の点推定を \delta 損失関数を  L(\pi, \delta) と書くことにする。ベイズ分析によく使われる損失関数としては次のような関数があります。

\begin{align}
2乗誤差損失({\rm quadratic \, loss}) &: L(\pi, \delta) = (\pi - \delta)^2 \\
絶対誤差損失({\rm absolute \, loss}) &: L(\pi, \delta) = |\pi - \delta|^2 \\
0 - 1 損失 ({\rm 0-1 \, loss}) &: L(\pi, \delta) = 1 - \boldsymbol{1}_{\pi} (\delta)
\end{align}

ここで、  \boldsymbol{1}_{\pi} (\delta) \delta = \pi の時 1 それ以外のとき 0となる指示関数。

パラメータの真の値はわかっていないので、ベイズ分析の点推定では、損失関数  L(\pi, \delta) の期待値を  \pi の事後分布で評価したもの

\begin{equation}
R(\delta | D) = E_{p (\pi | D)} [L(\pi, \delta)] = \int_0^1 L(\pi, \delta) p(\pi | D) d\pi
\end{equation}

を考え、これを出来るだけ小さくするように点推定を選択します。 R(\delta | D)期待損失 (expected loss) と呼びます。これを最小化問題として定式化したものが、未知のパラメータ  \pi の点推定  \delta^*

\begin{equation}
\delta^* = \arg \min_{0 < \delta < 1} R(\delta | D) = \arg \min_{0 < \delta < 1} \int_0^1 L(\pi, \delta) p (\pi | D) d\pi
\end{equation}

となります。"  \arg " は 「  \delta^* \min_{0 < \delta < 1} R(\delta | D) という最小化問題の解である」という意味です。

参考文献

中妻照雄(2007):『ファイナンスライブラリー10 入門ベイズ統計学』, 朝倉書店