尤度関数(likelihood function)
尤度とは尤もらしさ(もっともらしさ)の度合いのことを指している。
とりあえずこれだけ
母集団の分布をとするとき、母数に関する尤度関数は
\begin{equation}
L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と書ける
もう少し説明を...
の同時確率(密度)関数をとする。
実現値に対して、は
が観測される確率または確率密度であって、未知パラメータに依存する。
※実現値、つまり、観測された値を代入することで変数はのみとなる。
先の関数において、を固定すると、
変数の関数と考えることができる。この関数のことを尤度関数といい、
パラメータが持っている、観測値を実現させる尤もらしさを表している。
尤度関数は
\begin{equation}
L(\theta ; x_1,x_2,\ldots,x_n) = L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と表す。また、通常は尤度関数の対数を取った対数尤度関数(最後の等号はが独立かつ同一分布に従うとき)
\begin{equation}
l(\theta) = \log L(\theta) = \log \prod_{i=1}^n f(x_i;\theta) = \sum_{i=1}^n \log f(x_i;\theta)
\end{equation}
を用いて、対数尤度関数を最大にするを求める。
尤度比検定法
尤度についての確認が取れたところで、本題の尤度比検定にうつる。
確率ベクトルの確率(密度)関数を
とする。に対し、仮説検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
について考える。固定された各標本対し
\begin{equation}
\lambda(\boldsymbol{x}) := \frac{\sup_{\theta \in \Theta_0} f(x_1,\ldots,x_n;\theta)}{\sup_{\theta \in \Theta} f(x_1,\ldots,x_n;\theta)}
\end{equation}
を求め、適当に定められた定数に対し、
\begin{equation}
\lambda(\boldsymbol{x}) < c
\end{equation}
となるときを棄却し、そうでないときは採択するという検定方式を考える。
この時定数は以下の式で与えられる。(は有意水準)
\begin{equation}
\sup_{\theta \in \Theta_0} P(\lambda(\boldsymbol{x}) < c | \theta \in \Theta_0) = \alpha
\end{equation}
以上のような検定方式を水準の尤度比検定と呼び、統計量を尤度比と呼ぶ。
実際に使う時の流れ
(1)尤度比を求め、棄却域を
\begin{equation}
R_c = \{(x_1,\ldots,x_n);\lambda = \frac{\prod_{i=1}^n f(x_i;\theta_0)}{\max_{\theta \neq \theta_0} \prod_{i=1}^n f(x_i;\theta)} \le c\}
\end{equation}
によって定める。
(2)次にを適当に定め、として
\begin{equation}
P((X_1,\ldots,X_n) \in R_{c_0} | \theta = \theta_0) = \int \ldots \int_{R_{c_0}} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n = \alpha
\end{equation}
が成立するようにすれば、このが棄却域(有意水準)となる。
以上(1)(2)を行えば尤度比検定法を導くことができる。ここで、は上限ではなく最大値が使われているが、上限が使われているのは
理論の厳密にするためであり、実用上は最大値を用いればよいからである。
尤度比検定法を用いる具体的な例は少し長くなるし、疲れたのでまた今度にする。