統計・確率のお勉強

統計学を中心に色々勉強するブログ

尤度比検定

尤度関数(likelihood function)

尤度とは尤もらしさ(もっともらしさ)の度合いのことを指している。

とりあえずこれだけ

母集団の分布をf(x;\theta)とするとき、母数\thetaに関する尤度関数L(\theta)
\begin{equation}
L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と書ける

もう少し説明を...

X_1,X_2,\ldots,X_nの同時確率(密度)関数をf(x_1,x_2,\ldots,x_n; \theta)とする。
実現値X_1=x_1,X_2=x_2,\ldots,X_n=x_nに対して、f(x_1,x_2,\ldots,x_n; \theta)
X_1=x_1,X_2=x_2,\ldots,X_n=x_nが観測される確率または確率密度であって、未知パラメータ\thetaに依存する。

※実現値、つまり、観測された値を代入することで変数は\thetaのみとなる。

先の関数f(x_1,x_2,\ldots,x_n)において、x_1,x_2,\ldots,x_nを固定すると、
変数\thetaの関数と考えることができる。この関数のことを尤度関数といい、
パラメータ\thetaが持っている、観測値(x_1,x_2,\ldots,x_n)を実現させる尤もらしさを表している。

尤度関数は
\begin{equation}
L(\theta ; x_1,x_2,\ldots,x_n) = L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と表す。また、通常は尤度関数の対数を取った対数尤度関数(最後の等号はX_1,X_2,\ldots,X_nが独立かつ同一分布に従うとき)
\begin{equation}
l(\theta) = \log L(\theta) = \log \prod_{i=1}^n f(x_i;\theta) = \sum_{i=1}^n \log f(x_i;\theta)
\end{equation}
を用いて、対数尤度関数を最大にする \hat{\theta}(x_1,x_2,\ldots,x_n)を求める。

尤度比検定法

尤度についての確認が取れたところで、本題の尤度比検定にうつる。

確率ベクトル\boldsymbol{X} = (X_1,X_2,\ldots,X_n)の確率(密度)関数をf(x_1,x_2,\ldots,x_n), \theta \in \Theta
とする。\Theta_0 (\neq \phi) \in \Theta, \Theta_1 = \Theta - \Theta_0 (\neq \phi)に対し、仮説検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
について考える。固定された各標本\boldsymbol{x} = (x_1,x_2,\ldots,x_n)対し
\begin{equation}
\lambda(\boldsymbol{x}) := \frac{\sup_{\theta \in \Theta_0} f(x_1,\ldots,x_n;\theta)}{\sup_{\theta \in \Theta} f(x_1,\ldots,x_n;\theta)}
\end{equation}
を求め、適当に定められた定数cに対し、
\begin{equation}
\lambda(\boldsymbol{x}) < c
\end{equation}
となるときH_0を棄却し、そうでないときは採択するという検定方式を考える。
この時定数cは以下の式で与えられる。(\alpha有意水準)
\begin{equation}
\sup_{\theta \in \Theta_0} P(\lambda(\boldsymbol{x}) < c | \theta \in \Theta_0) = \alpha
\end{equation}
以上のような検定方式を水準\alpha尤度比検定と呼び、統計量\lambda(\boldsymbol{x})を尤度比と呼ぶ。

実際に使う時の流れ

(1)尤度比\lambdaを求め、棄却域R_c
\begin{equation}
R_c = \{(x_1,\ldots,x_n);\lambda = \frac{\prod_{i=1}^n f(x_i;\theta_0)}{\max_{\theta \neq \theta_0} \prod_{i=1}^n f(x_i;\theta)} \le c\}
\end{equation}
によって定める。

(2)次にc_0を適当に定め、R_{c_0}として
\begin{equation}
P((X_1,\ldots,X_n) \in R_{c_0} | \theta = \theta_0) = \int \ldots \int_{R_{c_0}} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n = \alpha
\end{equation}
が成立するようにすれば、このR_{c_0}が棄却域(有意水準\alpha)となる。

以上(1)(2)を行えば尤度比検定法を導くことができる。ここで、は上限\supではなく最大値\maxが使われているが、上限が使われているのは
理論の厳密にするためであり、実用上は最大値を用いればよいからである。

尤度比検定法を用いる具体的な例は少し長くなるし、疲れたのでまた今度にする。

参考文献

鈴木武・山田作太郎(2006)『数理統計学-基礎から学ぶデータ解析-』内田老鶴圃.
国沢清典(2012)『確率統計演習2-統計』培風館.
稲垣宣生(2013)『数理統計学』(数学シリーズ)裳華房.