関連・・・マルコフ連鎖
準備
確率過程の主要な問題の1つとして、現在の状態の分布から未来の状態を計算する、というものがある。マルコフ連鎖を用いることで、この確率を求めることが可能である。
がマルコフ連鎖、の時
マルコフ連鎖の定義、推移行列 の定義より
(1)
が成り立つ。(1)式より、マルコフ連鎖は $X_0$ 分布(初期分布)と推移行列 により定まることが分かる。
※マルコフ連鎖(上)推移行列(下)[確認]
関連・・・マルコフ連鎖
確率過程の主要な問題の1つとして、現在の状態の分布から未来の状態を計算する、というものがある。マルコフ連鎖を用いることで、この確率を求めることが可能である。
がマルコフ連鎖、の時
マルコフ連鎖の定義、推移行列 の定義より
(1)
が成り立つ。(1)式より、マルコフ連鎖は $X_0$ 分布(初期分布)と推移行列 により定まることが分かる。
※マルコフ連鎖(上)推移行列(下)[確認]
を確率測度とし、 を有限または可算の集合 を状態空間に持つ離散形確率過程とする。
※確率過程(Wikipedia参照)
確率論において、確率過程(かくりつかてい、英語: stochastic process)は、時間とともに変化する確率変数のことであり、株価や為替の変動、ブラウン運動などの粒子のランダムな運動を数学的に記述するモデルとして利用される。不規則過程(英語: random process)とも言う
※状態空間・・・確率過程が各時刻で取る値の集合
が任意の と任意のに対して、
を満たすとき、 を離散時間型マルコフ連鎖または単にマルコフ連鎖と呼ぶ。更に上式の右辺がに依存しないならば、定常な推移を持つという。また(1)式は次のように表すこともできる。
これらの式は次の時刻における状態は、現在の状態によってのみ決まり、過去によらないことを示している。このことをマルコフ性と呼ぶ。マルコフ連鎖が定常な推移を持つならば、状態の変化は出発点の時刻に依存しない。
マルコフ連鎖が定常な推移を持つとは に対して
を満たす が存在するとき。
は定常な推移を持つという。
状態空間
を用意します。1秒ごとにAからBへ1/3の確率で、AからCへ1/3の確率で、
AからAに1/3,BからBに1/3,BからAに2/3,CからBに1/3,CからCに2/3の
確率で状態がうつるとする。この時推移図は以下のようになっている。
この時、推移行列は次で与えられる。
大学受験で確率をやった人は上のような図を書いたことがある人もいると思います。
この確率過程は の値によっていないことがわかります。
例えば時間 の時に状態Bであった時、次の時間 の時に状態A
である確率は次のようにかけます。
次の状態は現在の状態にのみ依存していることがわかりますね。
故にこの確率過程はマルコフ性を持っています。また、
BからAに推移する確率はの値に関わらず 2/3 です。他の場合も同様であり
これは「定常な推移を持つ」と言えます。
※推移行列の見方はAを状態1,Bを状態2,Cを状態3としたとき、 状態1から状態2に推移する確率が1行2列目の 成分に書かれている。
この検定方法の導出がなかなかに骨が折れるものでした...
定着のためにも載せておこうと思います。
ここで用いる尤度比検定の基本的な内容については以下を参照してください
doratai.hatenablog.com尤度比検定 - 統計,確率のお勉強
正規母集団の平均に関する検定において、母分散を未知としたとき、以下の検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \mu = \mu_0 \\
H_1 : \mu \neq \mu_0
\end{array}
\right.
\end{eqnarray}
の検定方法を導く。
互いに独立な標本に対して
検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
を考えたとき、最良な棄却域の選び方として
\begin{equation}
\forall \theta_0 \in \Theta_0,\beta_{W^*} (\theta_0) = P((X_1,\ldots,X_n) \in W^* | \theta_0 \in \Theta_0) = \alpha
\end{equation}
かつ
\begin{equation}
\forall W, \forall \theta_1 \in \Theta_1,\beta_{W^*} (\theta_1) \ge \beta_W (\theta_1)
\end{equation}
を満たす一様最強力棄却域によって定まる検定を一様最強力検定という。
※覚えておきたいこと
検定を決める = 棄却域を決める
何を言っているのかというと、どのような棄却域よりも、検出力が大きい。
つまり、検出力が最大となるような棄却域(一様最強力棄却域)を用いて行われる検定が
他の棄却域を用いる検定に比べ最も良いということが言いたいのである。
最初のやつは有意水準に関する言及であり、メインは後者の方である。後者の式を言い直すと、
「任意のどのような棄却域をとってきたとしても、その検出力は、最強力棄却域による検出力以下である」
ということである。
また、後者の式を変形すると
\begin{eqnarray}
\beta_{W^*} (\theta_1) & \ge & \beta_W (\theta_1) \\
P((X_1,\ldots,X_n) \in W^* | \theta_1 \in \Theta_1) & \ge & P((X_1,\ldots,X_n) \in W | \theta_1 \in \Theta_1) \\
1-P((X_1,\ldots,X_n) \notin W^* | \theta_1 \in \Theta_1) & \ge & 1-P((X_1,\ldots,X_n) \notin W | \theta_1 \in \Theta_1) \\
P((X_1,\ldots,X_n) \notin W^* | \theta_1 \in \Theta_1) & \le & P((X_1,\ldots,X_n) \notin W | \theta_1 \in \Theta_1)
\end{eqnarray}
検定で必ず出てくる第1種の誤りと第2種の誤りについて確認する。
第1種の誤り・・・帰無仮説が正しいにも関わらず、を棄却してしまう誤り
第2種の誤り・・・対立仮説が正しいにも関わらず、を採択してしまう誤り
となる。
通常、第1種の誤りよりも第2種の誤りの方が重大である。
統計の参考書を読んでいると、数理統計学を扱う参考書ですら、
検出力という単語はでるものの、検出力関数という単語があまり出てこない。
(これを書いている時、私もそれで困っている。)
私が持っている参考書によると
検定関数をとして
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
の検定問題を考えた時、対立仮説が正しい時に
\begin{equation}
\beta (\theta; \varphi) := E_{\theta} (\varphi (\boldsymbol{X})) \;\; (\theta \in \Theta_1)
\end{equation}
はを受容する確率を表している。
つまりは検定の良さを表しており、
これをの検出力という。
をの関数と見たとき、をの検出力関数と呼ぶ。
検出力関数(power function)・・・棄却域を与えて、帰無仮説を棄却(reject)する確率
で与えられ、
\begin{equation}
\beta_W(\theta) = P((X_1,\ldots,X_n) \in W | \theta \in \Theta)
\end{equation}
で定義される。
1.特にの時、を検出力(power)という
\begin{equation}
\beta_W(\theta_1) = P((X_1,\ldots,X_n) \in W | \theta_1 \in \Theta_1) \;\; \gets (大きいほうがよい) \\
= 1 - P((X_1,\ldots,X_n) \notin W | \theta_1 \in \Theta_1)\; \gets (第2種の誤り)
\end{equation}
2.特にの時
\begin{equation}
\beta_W(\theta_0) = P((X_1,\ldots,X_n) \in W | \theta_0 \in \Theta_0) \;\; \gets (第1種の誤り)
\end{equation}
尤度とは尤もらしさ(もっともらしさ)の度合いのことを指している。
母集団の分布をとするとき、母数に関する尤度関数は
\begin{equation}
L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と書ける
の同時確率(密度)関数をとする。
実現値に対して、は
が観測される確率または確率密度であって、未知パラメータに依存する。
※実現値、つまり、観測された値を代入することで変数はのみとなる。
先の関数において、を固定すると、
変数の関数と考えることができる。この関数のことを尤度関数といい、
パラメータが持っている、観測値を実現させる尤もらしさを表している。
尤度関数は
\begin{equation}
L(\theta ; x_1,x_2,\ldots,x_n) = L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と表す。また、通常は尤度関数の対数を取った対数尤度関数(最後の等号はが独立かつ同一分布に従うとき)
\begin{equation}
l(\theta) = \log L(\theta) = \log \prod_{i=1}^n f(x_i;\theta) = \sum_{i=1}^n \log f(x_i;\theta)
\end{equation}
を用いて、対数尤度関数を最大にするを求める。
尤度についての確認が取れたところで、本題の尤度比検定にうつる。
確率ベクトルの確率(密度)関数を
とする。に対し、仮説検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
について考える。固定された各標本対し
\begin{equation}
\lambda(\boldsymbol{x}) := \frac{\sup_{\theta \in \Theta_0} f(x_1,\ldots,x_n;\theta)}{\sup_{\theta \in \Theta} f(x_1,\ldots,x_n;\theta)}
\end{equation}
を求め、適当に定められた定数に対し、
\begin{equation}
\lambda(\boldsymbol{x}) < c
\end{equation}
となるときを棄却し、そうでないときは採択するという検定方式を考える。
この時定数は以下の式で与えられる。(は有意水準)
\begin{equation}
\sup_{\theta \in \Theta_0} P(\lambda(\boldsymbol{x}) < c | \theta \in \Theta_0) = \alpha
\end{equation}
以上のような検定方式を水準の尤度比検定と呼び、統計量を尤度比と呼ぶ。
(1)尤度比を求め、棄却域を
\begin{equation}
R_c = \{(x_1,\ldots,x_n);\lambda = \frac{\prod_{i=1}^n f(x_i;\theta_0)}{\max_{\theta \neq \theta_0} \prod_{i=1}^n f(x_i;\theta)} \le c\}
\end{equation}
によって定める。
(2)次にを適当に定め、として
\begin{equation}
P((X_1,\ldots,X_n) \in R_{c_0} | \theta = \theta_0) = \int \ldots \int_{R_{c_0}} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n = \alpha
\end{equation}
が成立するようにすれば、このが棄却域(有意水準)となる。
以上(1)(2)を行えば尤度比検定法を導くことができる。ここで、は上限ではなく最大値が使われているが、上限が使われているのは
理論の厳密にするためであり、実用上は最大値を用いればよいからである。
尤度比検定法を用いる具体的な例は少し長くなるし、疲れたのでまた今度にする。
確率ベクトル(標本確率変数)は分布に従うとし、
分布の確率(密度)関数をとする。
この時、検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta = \theta_0 (単純仮説) \\
H_1 : \theta = \theta_1 (単純仮説)
\end{array}
\right.
\end{eqnarray}
に対する有意水準の最強力検定は次式で与えられる。
(※のことを検定関数という)
\begin{eqnarray}
\varphi_0(\boldsymbol{x}) =
\left\{
\begin{array}{ll}
1 & if \;\; f(\boldsymbol{x};\theta_1) > kf(\boldsymbol{x};\theta_0) \\
\gamma & if \;\; f(\boldsymbol{x};\theta_1) = kf(\boldsymbol{x};\theta_0) \\
0 & if \;\; f(\boldsymbol{x};\theta_1) < kf(\boldsymbol{x};\theta_0)
\end{array}
\right.
\end{eqnarray}
ここで、定数は次式から定まるものである。
\begin{equation}
E_{\theta_0} ( \varphi(\boldsymbol{X}) ) = \alpha
\end{equation}
以上がNeyman-Pearsonの基本定理である。これだけではなんのことかわからないので、もう少しわかりやすく書いていくことにする。
大きさnの無作為に抽出された独立な標本について、帰無仮説、対立仮説共に単純仮説である検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta = \theta_0 (単純仮説) \\
H_1 : \theta = \theta_1 (単純仮説)
\end{array}
\right.
\end{eqnarray}
に対して、最強力棄却域はが以下で与えられる。
\begin{equation}
R^* = \{ (X_1,X_2,\ldots,X_n) ; \frac{\prod_{i=1}^n f(x_i;\theta_1)}{\prod_{i=1}^n f(x_i;\theta_0)} > c \} , c>0
\end{equation}
ただしこの時、は以下により決まる(は有意水準)
\begin{eqnarray}
P((X_1,X_2,\ldots,X_n) \in R^* | \theta = \theta_0) & = & P(第1種の誤りがおこる) \\
& = & \int \ldots \int_{R^*} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n \\
& = & \alpha
\end{eqnarray}
上記二つを行うことで最強力棄却域が求まることを、Neyman-Pearsonの基本定理は言っているのである。
この最強力棄却域の基づく検定のことを最強力検定と呼び、Neyman-Pearsonの基本定理を用いることで、
帰無仮説、対立仮説がともに単純仮説の際、最強力検定を求めることができるのである。
以下のことを覚えておきたい。
検定関数を決める棄却域を決める
統計を各分野で応用する場合、既に知られている検定方式をただ使うことがほとんどであり、その検定方式がどのようにして定まるのか触れられることは少なく、また、それを知る必要性も低い。しかし、統計学をきちんと学ぼうとする際に各手法がどのような理論のもとで成り立っているのかを知ることは、各手法がどのような考え方のもとできてきているのか、統計がどのような考え方を持って各手法を導き出しているのかを知る助けとなる。ここでは、Neyman-Pearsonの定理から、検定方式を定め方に関して、式を追っていくことにする。
※環境によっては分数やルートの横棒が表示されないことがあります。
帰無仮説 (単純仮説)
対立仮説 (単純仮説)
に対して検定する。標本数はである。
棄却域が決まれば検定方式が決まる。最強力検定法をを作るにはNeyman-Pearsonの定理から以下の手順に従えば良いことがわかっている。
(1)領域を作る。
となる領域を作っておく。
(2)
となるように定数を定める。この時求まったが最強力棄却域となる。
以上の(1)(2)従って検定方式を求めていく。例として正規母集団に関する検定方式を求めていく。
正規母集団の母平均について下記の仮説の時
帰無仮説
対立仮説
次の検定法が最強力検定法であることを示す。
の時を棄却
の時を採択
ここでは正規母集団を考えているので母集団の分布は
で与えられ、これを(1)の式に代入する。
(a)
計算すると最終的に上記のような形になる。
次に手順(2)を行う。
(b)
上記のカッコ内の不等式に注目して考える。カッコ内の式を見やすくすると
という形をとなっていることが分かる。
となるを求めるといことはつまり、
となるを求めることと同じ。
ここで、のもとでの分布はであるから
(※ とおく)
ここで、はの分布関数を表している。標準正規分布表からとなるを読み取ると、
となる。
つまり、
の時、は棄却され、
の時、は採択される。
以上のようにして検定方式を定めることができる。