2016-01-19

検出力関数

統計学

第1種の誤りと第2種の誤り

検定で必ず出てくる第1種の誤りと第2種の誤りについて確認する。

第1種の誤り・・・帰無仮説 $H_0$ が正しいにも関わらず、 $H_0$ を棄却してしまう誤り

第2種の誤り・・・対立仮説 $H_1$ が正しいにも関わらず、 $H_0$ を採択してしまう誤り
となる。
通常、第1種の誤りよりも第2種の誤りの方が重大である。

検出力関数の定義

統計の参考書を読んでいると、数理統計学を扱う参考書ですら、
検出力という単語はでるものの、検出力関数という単語があまり出てこない。
(これを書いている時、私もそれで困っている。)
私が持っている参考書によると

検定関数を $\varphi(\boldsymbol{X})$ として

\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
の検定問題を考えた時、対立仮説が正しい時に
\begin{equation}
\beta (\theta; \varphi) := E_{\theta} (\varphi (\boldsymbol{X})) \;\; (\theta \in \Theta_1)
\end{equation}
は $H_1$ を受容する確率を表している。
つまりは検定 $\varphi (\boldsymbol{X})$ の良さを表しており、
これを $\varphi(\boldsymbol{X})$ の検出力という。
$\beta (\theta; \varphi)$ を $\theta$ の関数と見たとき、 $\beta$ を $\varphi(\boldsymbol{X})$ の検出力関数と呼ぶ。

授業を受けたのでそれによると

検出力関数(power function)・・・棄却域 $W$ を与えて、帰無仮説 $H_0$ を棄却(reject)する確率
で与えられ、

\begin{equation}
\beta_W(\theta) = P((X_1,\ldots,X_n) \in W | \theta \in \Theta)
\end{equation}

で定義される。

1.特に $\theta_1 \in \Theta_1$ の時、 $\beta_W(\theta_1)$ を検出力(power)という

\begin{equation}
\beta_W(\theta_1) = P((X_1,\ldots,X_n) \in W | \theta_1 \in \Theta_1) \;\; \gets (大きいほうがよい) \\
= 1 - P((X_1,\ldots,X_n) \notin W | \theta_1 \in \Theta_1)\; \gets (第2種の誤り)
\end{equation}

2.特に $\theta \in \Theta$ の時

\begin{equation}
\beta_W(\theta_0) = P((X_1,\ldots,X_n) \in W | \theta_0 \in \Theta_0) \;\; \gets (第1種の誤り)
\end{equation}

参考文献

鈴木武・山田作太郎(2006)『数理統計学-基礎から学ぶデータ解析-』内田老鶴圃.
国沢清典(2012)『確率統計演習2-統計』培風館.
稲垣宣生(2013)『数理統計学』(数学シリーズ)裳華房.

2016-01-14

尤度比検定

統計学

尤度関数(likelihood function)

尤度とは尤もらしさ（もっともらしさ）の度合いのことを指している。

とりあえずこれだけ

母集団の分布を $f(x;\theta)$ とするとき、母数 $\theta$ に関する尤度関数 $L(\theta)$ は
\begin{equation}
L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と書ける

もう少し説明を...

$X_1,X_2,\ldots,X_n$ の同時確率(密度)関数を $f(x_1,x_2,\ldots,x_n; \theta)$ とする。
実現値 $X_1=x_1,X_2=x_2,\ldots,X_n=x_n$ に対して、 $f(x_1,x_2,\ldots,x_n; \theta)$ は
$X_1=x_1,X_2=x_2,\ldots,X_n=x_n$ が観測される確率または確率密度であって、未知パラメータ $\theta$ に依存する。

※実現値、つまり、観測された値を代入することで変数は $\theta$ のみとなる。

先の関数 $f(x_1,x_2,\ldots,x_n)$ において、 $x_1,x_2,\ldots,x_n$ を固定すると、
変数 $\theta$ の関数と考えることができる。この関数のことを尤度関数といい、
パラメータ $\theta$ が持っている、観測値 $(x_1,x_2,\ldots,x_n)$ を実現させる尤もらしさを表している。

尤度関数は
\begin{equation}
L(\theta ; x_1,x_2,\ldots,x_n) = L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と表す。また、通常は尤度関数の対数を取った対数尤度関数(最後の等号は $X_1,X_2,\ldots,X_n$ が独立かつ同一分布に従うとき)
\begin{equation}
l(\theta) = \log L(\theta) = \log \prod_{i=1}^n f(x_i;\theta) = \sum_{i=1}^n \log f(x_i;\theta)
\end{equation}
を用いて、対数尤度関数を最大にする $\hat{\theta}(x_1,x_2,\ldots,x_n)$ を求める。

尤度比検定法

尤度についての確認が取れたところで、本題の尤度比検定にうつる。

確率ベクトル $\boldsymbol{X} = (X_1,X_2,\ldots,X_n)$ の確率(密度)関数を $f(x_1,x_2,\ldots,x_n), \theta \in \Theta$
とする。 $\Theta_0 (\neq \phi) \in \Theta, \Theta_1 = \Theta - \Theta_0 (\neq \phi)$ に対し、仮説検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
について考える。固定された各標本 $\boldsymbol{x} = (x_1,x_2,\ldots,x_n)$ 対し
\begin{equation}
\lambda(\boldsymbol{x}) := \frac{\sup_{\theta \in \Theta_0} f(x_1,\ldots,x_n;\theta)}{\sup_{\theta \in \Theta} f(x_1,\ldots,x_n;\theta)}
\end{equation}
を求め、適当に定められた定数 $c$ に対し、
\begin{equation}
\lambda(\boldsymbol{x}) < c
\end{equation}
となるとき $H_0$ を棄却し、そうでないときは採択するという検定方式を考える。
この時定数 $c$ は以下の式で与えられる。( $\alpha$ は有意水準)
\begin{equation}
\sup_{\theta \in \Theta_0} P(\lambda(\boldsymbol{x}) < c | \theta \in \Theta_0) = \alpha
\end{equation}
以上のような検定方式を水準 $\alpha$ の尤度比検定と呼び、統計量 $\lambda(\boldsymbol{x})$ を尤度比と呼ぶ。

実際に使う時の流れ

(1)尤度比 $\lambda$ を求め、棄却域 $R_c$ を
\begin{equation}
R_c = \{(x_1,\ldots,x_n);\lambda = \frac{\prod_{i=1}^n f(x_i;\theta_0)}{\max_{\theta \neq \theta_0} \prod_{i=1}^n f(x_i;\theta)} \le c\}
\end{equation}
によって定める。

(2)次に $c_0$ を適当に定め、 $R_{c_0}$ として
\begin{equation}
P((X_1,\ldots,X_n) \in R_{c_0} | \theta = \theta_0) = \int \ldots \int_{R_{c_0}} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n = \alpha
\end{equation}
が成立するようにすれば、この $R_{c_0}$ が棄却域(有意水準 $\alpha$ )となる。

以上(1)(2)を行えば尤度比検定法を導くことができる。ここで、は上限 $\sup$ ではなく最大値 $\max$ が使われているが、上限が使われているのは
理論の厳密にするためであり、実用上は最大値を用いればよいからである。

尤度比検定法を用いる具体的な例は少し長くなるし、疲れたのでまた今度にする。

参考文献

2016-01-13

Neyman-Pearson(ネイマン・ピアソン)の基本定理

統計学

一般

確率ベクトル(標本確率変数) $\boldsymbol{X} = (X_1,X_2,\ldots,X_n)$ は分布 $P_{\theta}, \theta \in \Theta$ に従うとし、
分布 $P_\theta$ の確率(密度)関数を $f(\boldsymbol{x};\theta) (= \prod_{i=1}^n f(x_i;\theta))$ とする。
この時、検定問題

\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta = \theta_0 (単純仮説) \\
H_1 : \theta = \theta_1 (単純仮説)
\end{array}
\right.
\end{eqnarray}

に対する有意水準 $\alpha(0\le \alpha \le 1)$ の最強力検定 $\varphi_0(\boldsymbol{x})$ は次式で与えられる。
(※ $\varphi(\boldsymbol{x})$ のことを検定関数という)

\begin{eqnarray}
\varphi_0(\boldsymbol{x}) =
\left\{
\begin{array}{ll}
1 & if \;\; f(\boldsymbol{x};\theta_1) > kf(\boldsymbol{x};\theta_0) \\
\gamma & if \;\; f(\boldsymbol{x};\theta_1) = kf(\boldsymbol{x};\theta_0) \\
0 & if \;\; f(\boldsymbol{x};\theta_1) < kf(\boldsymbol{x};\theta_0)
\end{array}
\right.
\end{eqnarray}

ここで、定数 $\gamma(0 \le \gamma \le 1), k (\ge 0)$ は次式から定まるものである。
\begin{equation}
E_{\theta_0} ( \varphi(\boldsymbol{X}) ) = \alpha
\end{equation}

以上がNeyman-Pearsonの基本定理である。これだけではなんのことかわからないので、もう少しわかりやすく書いていくことにする。

つまりは...

大きさnの無作為に抽出された独立な標本 $X_1,X_2,\ldots,X_n$ について、帰無仮説、対立仮説共に単純仮説である検定問題

\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta = \theta_0 (単純仮説) \\
H_1 : \theta = \theta_1 (単純仮説)
\end{array}
\right.
\end{eqnarray}

に対して、最強力棄却域 $R^*$ はが以下で与えられる。

\begin{equation}
R^* = \{ (X_1,X_2,\ldots,X_n) ; \frac{\prod_{i=1}^n f(x_i;\theta_1)}{\prod_{i=1}^n f(x_i;\theta_0)} > c \} , c>0
\end{equation}

ただしこの時、 $c$ は以下により決まる( $\alpha$ は有意水準)

\begin{eqnarray}
P((X_1,X_2,\ldots,X_n) \in R^* | \theta = \theta_0) & = & P(第1種の誤りがおこる) \\
& = & \int \ldots \int_{R^*} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n \\
& = & \alpha
\end{eqnarray}

上記二つを行うことで最強力棄却域が求まることを、Neyman-Pearsonの基本定理は言っているのである。
この最強力棄却域の基づく検定のことを最強力検定と呼び、Neyman-Pearsonの基本定理を用いることで、
帰無仮説、対立仮説がともに単純仮説の際、最強力検定を求めることができるのである。

以下のことを覚えておきたい。
検定関数 $\varphi(\boldsymbol{x})$ を決める $\Leftrightarrow$ 棄却域 $R$ を決める

対立仮説が複合の場合でも活躍するNeyman-Pearonの定理

Neyman-Pearsonの定理は基本単純仮説同士の検定に用いられるが、対立仮説が以下のような場合にも応用することができる。
帰無仮説 $H_0 : \mu = \mu_0$
対立仮説 $H_1 : \mu > \mu_0 または \mu < \mu_0$
このような対立仮説の検定問題の場合、 $\mu > \mu_0(または \mu < \mu_0)$ を満たすような任意の $\mu_1$ を用いて
単純仮説に帰着することで、Neyman-Pearsonの基本定理を応用することができる。

参考文献

2016-01-10

検定方式の定め方[正規分布の例]

統計学

統計を各分野で応用する場合、既に知られている検定方式をただ使うことがほとんどであり、その検定方式がどのようにして定まるのか触れられることは少なく、また、それを知る必要性も低い。しかし、統計学をきちんと学ぼうとする際に各手法がどのような理論のもとで成り立っているのかを知ることは、各手法がどのような考え方のもとできてきているのか、統計がどのような考え方を持って各手法を導き出しているのかを知る助けとなる。ここでは、Neyman-Pearsonの定理から、検定方式を定め方に関して、式を追っていくことにする。

※環境によっては分数やルートの横棒が表示されないことがあります。

Neyman-Pearson(ネイマン・ピアソン)の定理

帰無仮説 $H_0 : \theta = \theta_0$ (単純仮説)
対立仮説 $H_1 : \theta = \theta_1$ (単純仮説)

に対して検定する。標本数は $n$ である。

棄却域が決まれば検定方式が決まる。最強力検定法をを作るにはNeyman-Pearsonの定理から以下の手順に従えば良いことがわかっている。

(1)領域を作る。

$Rc = \{(x_1,x_2,...,x_n); \frac{\prod_{i=1}^n f(x_i; \theta_1)}{\prod_{i=1}^n f(x_i; \theta_0)} \ge c\}$

となる領域 $R_c$ を作っておく。

(2)
$P\{(X_1,X_2,...,X_n) \in R_c | \theta = \theta_0 \} = P(第1種の誤りが起こる)$

$= \int \ldots \int_{R_c} \prod_{i=1}^n f(x_i;\theta_0)dx_1\ldots dx_n = \alpha$

となるように定数 $c$ を定める。この時求まった $R_c$ が最強力棄却域 $R^*$ となる。

以上の(1)(2)従って検定方式を求めていく。例として正規母集団に関する検定方式を求めていく。

検定方式を求める(正規母集団,平均 $\mu$ 未知,分散 $\sigma^2$ 既知)

正規母集団 $N(\mu,\sigma^2)$ の母平均 $\mu$ について下記の仮説の時

帰無仮説 $H_0 : \mu = \mu_0$
対立仮説 $H_1 : \mu = \mu_1 (> \mu_0)$

次の検定法が最強力検定法であることを示す。

$\bar{x} < \mu_0 + u(\alpha) \frac{\sigma}{\sqrt{n}}$ 　の時 $H_0$ を棄却

$\bar{x} > \mu_0 + u(\alpha) \frac{\sigma}{\sqrt{n}}$ 　の時 $H_0$ を採択

( $\alpha$ は有意水準,u( $\alpha$ )は標準正規分布の上側確率)

ここでは正規母集団 $N(\mu,\sigma^2)$ を考えているので母集団の分布は

${ f(x;\mu) = \frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{(x-\mu)^2}{2\sigma^2} \}}$

で与えられ、これを(1)の式に代入する。

(a)
$Rc = \{(x_1,\ldots,x_n); \frac{\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{(x-\mu_1)^2}{2\sigma^2} \}}{\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma}\exp\{-\frac{(x-\mu_0)^2}{2\sigma^2} \}} \ge c \}$