個人的興味から経済学も少しかじっていくつもりなので、ここに書いていく.
個人的なメモ及びアウトプットがメインな上、私自身が専門にしようと考えている分野ではないのであまり詳しい説明は書かないし、書けない。
人々はどのように意思決定するか
人々はどのように影響し合うのか
- 交易(取引)は全ての人々をより豊かにする.
- 通常、市場は経済活動を組織する良作である.
- 政府が市場にもたらす成果を改善できることもある.
個人的興味から経済学も少しかじっていくつもりなので、ここに書いていく.
個人的なメモ及びアウトプットがメインな上、私自身が専門にしようと考えている分野ではないのであまり詳しい説明は書かないし、書けない。
統計学を学ぶにあたっておすすめの参考書、及び読んでおきたい本を紹介したいと思います。
言わずとしれた良書。統計学をわかりやすくかつレベルを落とさずに解説しようと東大の先生方が書いたもの。統計学の歴史や実際にどのように使われているのかがわかる具体例が多く、文系理系問わずに読むことができる。ただ、わかりやすさを主眼に置き、数学的な証明の大部分は載っていないため、数理統計学としての統計学を考えている人には足りない。証明などを除けばかなり詳しく具体例を交えて書かれているので、統計学という学問を知るために一度読んでおくのが良い。またアクチュアリー指定教科書でもあるので、受験を考える人は持っておいたほうがいい一冊。
また、これは全部で三冊ある基礎統計学シリーズの最初の本で、もう2つに「人文・社会科学の統計学 (基礎統計学)」「自然科学の統計学 (基礎統計学)
」がある。
に対して
$$
\begin{eqnarray}
1_A(\omega) \equiv \left\{
\begin{array}{ll}
1 & (\omega \in A) \\
0 & (\omega \in A)
\end{array}
\right.
\end{eqnarray}
$$
と定めると、この関数 を定義関数という。
空間 と -加法族 の組、つまりは可測空間 を考える。 とする。
が次の条件を満たす時、 は -可測関数でるという。
$$
\{\omega\in\Omega;f(\omega)\le a\} \in \mathcal{F} \;\;\;\;\;(\forall a\in \mathbb{R})
$$
ここで、少し表記を省略して、例えば上記の式を と書く事にする。 上の定義から以下が全て同値であることが導ける。
$$
\begin{eqnarray}
(1)&f:\mathcal{F}-可測関数 &&;\\
(2)&\{f \ge a\} \in \mathcal{F} & (\forall a \in \mathbb{R}) & ; \\
(3)&\{f < a\} \in \mathcal{F} & (\forall a \in \mathbb{R}) & ; \\
(4)&\{f > a\} \in \mathcal{F} & (\forall a \in \mathbb{R}) & ; \\
(5)&f^{-1}(B)\in \mathcal{F} &(\forall B \in \mathfrak{B}) & かつ \{f=+\infty\},\{f=-\infty\} \in \mathcal{F}
\end{eqnarray}
$$
証明
以上により が示された。
$$
\begin{eqnarray}
(5)\Rightarrow(1)&:& \{f \le a\}=f^{-1}((-\infty,a])\cup\{f=-\infty\} \in \mathcal{F} \;\; (\forall a \in \mathbb{R}) \\
(1)かつ(4)\Rightarrow (5) &:& f^{-1}((a,b])=\{f>a\}\cap\{f\le b\} \in \mathcal{F} \;\; (\forall a \in \mathbb{R})
\end{eqnarray}
$$
より示された。
次に をいづれも -可測関数として、 とする。次の関数が定義されるならば、いずれも -可測関数である。
(1)
任意の に対して
$$
\begin{eqnarray}
\alpha=0 &\Rightarrow& \{\alpha f \le a\}=
\left\{
\begin{array}{l}
\phi \in \mathcal{F} \;\; (a<0)\\
\Omega \in \mathcal{F} \;\; (a\ge 0)
\end{array}
\right. \\
\alpha > 0 &\Rightarrow& \{\alpha f \le a\} = \{f\le \frac{a}{\alpha}\} \in \mathcal{F} \\
\alpha < 0&\Rightarrow& \{\alpha f \le a\} = \{f \ge \frac{a}{\alpha}\} \in \mathcal{F}
\end{eqnarray}
$$
の値は任意であることを思い出すと良い。つまり任意であるから でも良い。
(2)
とする。
$$
\begin{eqnarray}
\{f + g < a\} &=& \{f < a - g\} \\
&=& \cup_{n=1}^{\infty}\{f < r_n < a - g\} \\
&=& \cup_{n=1}^{\infty}(\{f < r_n\}\cap\{g < a - r_n\}) \in \mathcal{F}
\end{eqnarray}
$$
(3)
に対して
$$
\{f^2\le a\} =
\begin{eqnarray}
\left\{
\begin{array}{ll}
\{-\sqrt{a} \le f \le \sqrt{a}\} \in \mathcal{F} & (a \ge 0) \\
\phi \in \mathcal{F} & (a < 0)
\end{array}
\right.
\end{eqnarray}
$$
であるから、 は -可測関数である。
$$
\therefore \;\; fg=\frac{(f+g)^2-(f-g)^2}{4}
$$
も -可測関数である。
(4)
に対して
$$
\{\frac{1}{f} \le a\}=(\{f>0\}\cap\{af\ge1\})\cup(\{f<0\}\cap\{af\le 1\})\in \mathcal{F}
$$
(5)
$$
\{|f|\le a\}=
\begin{eqnarray}
\left\{
\begin{array}{cl}
-f\le a \le f \in \mathcal{F} & (a \ge 0) \\
\phi \in \mathcal{F} & (a < 0)
\end{array}
\right.
\end{eqnarray}
$$
(6)
に対して
$$
\{\sup_{n\ge 1} f_n \le a\} = \cap_{n=1}^{\infty}\{f_n \le a\} \in \mathcal{F}
$$
(7)
より示される。
(8)
定義
から、これも -可測関数
(9)
同様に定義
からわかる。
(10) 極限の定義から、数列が極限を持つのは、上極限と下極限が一致した時であるから、明らか。
$$
\lim_{n\to\infty}f_n=\liminf_{n\to\infty}f_n=\limsup_{n\to\infty}f_n
$$
(11)
に対して
$$
\begin{eqnarray}
\{f\lor g \le a\}&=&\{\max\{f,g\}\le a\} \\
&=& \{f\le a\}\cap\{g\le a\} \in \mathcal{F}
\end{eqnarray}
$$
(12)
に対して
$$
\begin{eqnarray}
\{f\land g \le a\}&=& \{\min\{f,g\}\le a\} \\
&=& \{f\le a\}\cup\{g\le a\} \in \mathcal{F}
\end{eqnarray}
$$
(13)
に対して
$$
\{\sqrt{f}\le a\}=
\begin{eqnarray}
\left\{
\begin{array}{cl}
\{0\le f \le a^2\} \in \mathcal{F} & (a\ge 0) \\
\phi \in \mathcal{F} & (a < 0)
\end{array}
\right.
\end{eqnarray}
$$
より は可測関数。
マルコフ連鎖 は離散形状態空間 と推移行列 を持つとする。
ならば でありかつ ならば であるので、 は対称的かつ推移的である。この関係により状態を排反な集合に分類することができる。
閉集合・・・分類された集合の中で、集合の外への推移がないもの.
の部分集合 が閉集合である
となる。
状態空間 は既約かつ排反な閉集合の集まりと、既約な閉集合を含まない集合に分類できる。
に対して
と定義する。この時 に対して
$$
C(i) \cap C(j) \neq \phi
$$
ならば
$$
C(i)=C(j)
$$
である。
$$
T=S-\cup_{i\in S}C(i)
$$
とおく。この時 は と に分割される。
(例)
例えば上の図において状態1と2,3と4は互いに到達可能である。
{1,2},{3,4}は既約、状態5は閉集合である。
に対して
$$
\begin{equation}
d= \gcd\{n \ge 1; p_{j,j}^{(n)}>0\} (= \{n \ge 1; p_{i,j}^{(n)}>0\}の最大公約数)
\end{equation}
$$
とする時 を の周期という。特に の時、 は非周期的であるという。
周期に関して、Wikipediaの周期性の項目がわかりやすかったので引用したものを下記に記す。
マルコフ連鎖
状態i への回帰がk の倍数回のみに見られ、しかもk がこの性質を持つ最大の数ならば、「状態i の周期はk である」という。例えば、i への回帰が偶数回目にのみ起こるならば、i の周期は2である。
上式におけるdに当たるのが引用部分のkになる。
証明
の周期を と表すことにする。 が で割切れることを証明する。
より、ある に対して であり、ある に対して であるから、チャップマン・コルモゴロフの公式から
$$
\begin{equation}
p_{i,i}^{(n+m)} \ge p_{i,j}^{(n)}p_{j,i}^{(m)} > 0
\end{equation}
$$
が成り立つ。よって、 は の倍数である。
を $ を満たす任意の正整数とする。
$$
\begin{equation}
p_{i,i}^{(n+k+m)} \ge p_{i,j}^{(n)}p_{j,j}^{(k)}p_{j,i}^{(m)} > 0
\end{equation}
$$
より、 も の倍数である。よって は の倍数である。
従って は で割り切れる。
ここで、 は互いに到達可能であるので
$$
\begin{equation}
d(i) = d(j)
\end{equation}
$$
が言える。
この定理により、既約なマルコフ連鎖の状態は全て同じ周期を持つ。
先に示した例の図において、状態1と2は既約であり、状態1において何度となく状態1を繰り返す可能性がある。すると
$$
\begin{equation}
d(1) = \gcd\{1,2,3,4,5,\ldots\} = 1 \\
d(2) = \gcd\{2,3,4,5,6,\ldots\} = 1
\end{equation}
$$
となる。既約である二つの状態の周期は一致している。$d=1$であるので、状態1と2は非周期的である。状態3と4も既約である。状態3を考えると一旦状態4に移ってまた戻ってくるという推移をしなければならないから
$$
\begin{equation}
d(3) = \gcd\{2,4,6,8,\ldots\} = 2
\end{equation}
$$
になる。また状態3と4は既約なので当然 $d(4)=2$ になる。よって$d \neq 1$であるので、状態3,4は周期的である。
また状態5は永遠と状態5を繰り返すので
$$
\begin{equation}
d(5) = \gcd\{1,2,3,4,5,6,\ldots\} = 1
\end{equation}
$$
であり非周期的である。
関連・・・マルコフ連鎖
確率過程の主要な問題の1つとして、現在の状態の分布から未来の状態を計算する、というものがある。マルコフ連鎖を用いることで、この確率を求めることが可能である。
がマルコフ連鎖、の時
マルコフ連鎖の定義、推移行列 の定義より
(1)
が成り立つ。(1)式より、マルコフ連鎖は $X_0$ 分布(初期分布)と推移行列 により定まることが分かる。
※マルコフ連鎖(上)推移行列(下)[確認]
を確率測度とし、 を有限または可算の集合 を状態空間に持つ離散形確率過程とする。
※確率過程(Wikipedia参照)
確率論において、確率過程(かくりつかてい、英語: stochastic process)は、時間とともに変化する確率変数のことであり、株価や為替の変動、ブラウン運動などの粒子のランダムな運動を数学的に記述するモデルとして利用される。不規則過程(英語: random process)とも言う
※状態空間・・・確率過程が各時刻で取る値の集合
が任意の と任意のに対して、
を満たすとき、 を離散時間型マルコフ連鎖または単にマルコフ連鎖と呼ぶ。更に上式の右辺がに依存しないならば、定常な推移を持つという。また(1)式は次のように表すこともできる。
これらの式は次の時刻における状態は、現在の状態によってのみ決まり、過去によらないことを示している。このことをマルコフ性と呼ぶ。マルコフ連鎖が定常な推移を持つならば、状態の変化は出発点の時刻に依存しない。
マルコフ連鎖が定常な推移を持つとは に対して
を満たす が存在するとき。
は定常な推移を持つという。
状態空間
を用意します。1秒ごとにAからBへ1/3の確率で、AからCへ1/3の確率で、
AからAに1/3,BからBに1/3,BからAに2/3,CからBに1/3,CからCに2/3の
確率で状態がうつるとする。この時推移図は以下のようになっている。
この時、推移行列は次で与えられる。
大学受験で確率をやった人は上のような図を書いたことがある人もいると思います。
この確率過程は の値によっていないことがわかります。
例えば時間 の時に状態Bであった時、次の時間 の時に状態A
である確率は次のようにかけます。
次の状態は現在の状態にのみ依存していることがわかりますね。
故にこの確率過程はマルコフ性を持っています。また、
BからAに推移する確率はの値に関わらず 2/3 です。他の場合も同様であり
これは「定常な推移を持つ」と言えます。
※推移行列の見方はAを状態1,Bを状態2,Cを状態3としたとき、 状態1から状態2に推移する確率が1行2列目の 成分に書かれている。
この検定方法の導出がなかなかに骨が折れるものでした...
定着のためにも載せておこうと思います。
ここで用いる尤度比検定の基本的な内容については以下を参照してください
doratai.hatenablog.com尤度比検定 - 統計,確率のお勉強
正規母集団の平均に関する検定において、母分散を未知としたとき、以下の検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \mu = \mu_0 \\
H_1 : \mu \neq \mu_0
\end{array}
\right.
\end{eqnarray}
の検定方法を導く。
互いに独立な標本に対して
検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
を考えたとき、最良な棄却域の選び方として
\begin{equation}
\forall \theta_0 \in \Theta_0,\beta_{W^*} (\theta_0) = P((X_1,\ldots,X_n) \in W^* | \theta_0 \in \Theta_0) = \alpha
\end{equation}
かつ
\begin{equation}
\forall W, \forall \theta_1 \in \Theta_1,\beta_{W^*} (\theta_1) \ge \beta_W (\theta_1)
\end{equation}
を満たす一様最強力棄却域によって定まる検定を一様最強力検定という。
※覚えておきたいこと
検定を決める = 棄却域を決める
何を言っているのかというと、どのような棄却域よりも、検出力が大きい。
つまり、検出力が最大となるような棄却域(一様最強力棄却域)を用いて行われる検定が
他の棄却域を用いる検定に比べ最も良いということが言いたいのである。
最初のやつは有意水準に関する言及であり、メインは後者の方である。後者の式を言い直すと、
「任意のどのような棄却域をとってきたとしても、その検出力は、最強力棄却域による検出力以下である」
ということである。
また、後者の式を変形すると
\begin{eqnarray}
\beta_{W^*} (\theta_1) & \ge & \beta_W (\theta_1) \\
P((X_1,\ldots,X_n) \in W^* | \theta_1 \in \Theta_1) & \ge & P((X_1,\ldots,X_n) \in W | \theta_1 \in \Theta_1) \\
1-P((X_1,\ldots,X_n) \notin W^* | \theta_1 \in \Theta_1) & \ge & 1-P((X_1,\ldots,X_n) \notin W | \theta_1 \in \Theta_1) \\
P((X_1,\ldots,X_n) \notin W^* | \theta_1 \in \Theta_1) & \le & P((X_1,\ldots,X_n) \notin W | \theta_1 \in \Theta_1)
\end{eqnarray}
検定で必ず出てくる第1種の誤りと第2種の誤りについて確認する。
第1種の誤り・・・帰無仮説が正しいにも関わらず、を棄却してしまう誤り
第2種の誤り・・・対立仮説が正しいにも関わらず、を採択してしまう誤り
となる。
通常、第1種の誤りよりも第2種の誤りの方が重大である。
統計の参考書を読んでいると、数理統計学を扱う参考書ですら、
検出力という単語はでるものの、検出力関数という単語があまり出てこない。
(これを書いている時、私もそれで困っている。)
私が持っている参考書によると
検定関数をとして
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
の検定問題を考えた時、対立仮説が正しい時に
\begin{equation}
\beta (\theta; \varphi) := E_{\theta} (\varphi (\boldsymbol{X})) \;\; (\theta \in \Theta_1)
\end{equation}
はを受容する確率を表している。
つまりは検定の良さを表しており、
これをの検出力という。
をの関数と見たとき、をの検出力関数と呼ぶ。
検出力関数(power function)・・・棄却域を与えて、帰無仮説を棄却(reject)する確率
で与えられ、
\begin{equation}
\beta_W(\theta) = P((X_1,\ldots,X_n) \in W | \theta \in \Theta)
\end{equation}
で定義される。
1.特にの時、を検出力(power)という
\begin{equation}
\beta_W(\theta_1) = P((X_1,\ldots,X_n) \in W | \theta_1 \in \Theta_1) \;\; \gets (大きいほうがよい) \\
= 1 - P((X_1,\ldots,X_n) \notin W | \theta_1 \in \Theta_1)\; \gets (第2種の誤り)
\end{equation}
2.特にの時
\begin{equation}
\beta_W(\theta_0) = P((X_1,\ldots,X_n) \in W | \theta_0 \in \Theta_0) \;\; \gets (第1種の誤り)
\end{equation}
尤度とは尤もらしさ(もっともらしさ)の度合いのことを指している。
母集団の分布をとするとき、母数に関する尤度関数は
\begin{equation}
L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と書ける
の同時確率(密度)関数をとする。
実現値に対して、は
が観測される確率または確率密度であって、未知パラメータに依存する。
※実現値、つまり、観測された値を代入することで変数はのみとなる。
先の関数において、を固定すると、
変数の関数と考えることができる。この関数のことを尤度関数といい、
パラメータが持っている、観測値を実現させる尤もらしさを表している。
尤度関数は
\begin{equation}
L(\theta ; x_1,x_2,\ldots,x_n) = L(\theta) = \prod_{i=1}^n f(x_i;\theta)
\end{equation}
と表す。また、通常は尤度関数の対数を取った対数尤度関数(最後の等号はが独立かつ同一分布に従うとき)
\begin{equation}
l(\theta) = \log L(\theta) = \log \prod_{i=1}^n f(x_i;\theta) = \sum_{i=1}^n \log f(x_i;\theta)
\end{equation}
を用いて、対数尤度関数を最大にするを求める。
尤度についての確認が取れたところで、本題の尤度比検定にうつる。
確率ベクトルの確率(密度)関数を
とする。に対し、仮説検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta \in \Theta_0 \\
H_1 : \theta \in \Theta_1
\end{array}
\right.
\end{eqnarray}
について考える。固定された各標本対し
\begin{equation}
\lambda(\boldsymbol{x}) := \frac{\sup_{\theta \in \Theta_0} f(x_1,\ldots,x_n;\theta)}{\sup_{\theta \in \Theta} f(x_1,\ldots,x_n;\theta)}
\end{equation}
を求め、適当に定められた定数に対し、
\begin{equation}
\lambda(\boldsymbol{x}) < c
\end{equation}
となるときを棄却し、そうでないときは採択するという検定方式を考える。
この時定数は以下の式で与えられる。(は有意水準)
\begin{equation}
\sup_{\theta \in \Theta_0} P(\lambda(\boldsymbol{x}) < c | \theta \in \Theta_0) = \alpha
\end{equation}
以上のような検定方式を水準の尤度比検定と呼び、統計量を尤度比と呼ぶ。
(1)尤度比を求め、棄却域を
\begin{equation}
R_c = \{(x_1,\ldots,x_n);\lambda = \frac{\prod_{i=1}^n f(x_i;\theta_0)}{\max_{\theta \neq \theta_0} \prod_{i=1}^n f(x_i;\theta)} \le c\}
\end{equation}
によって定める。
(2)次にを適当に定め、として
\begin{equation}
P((X_1,\ldots,X_n) \in R_{c_0} | \theta = \theta_0) = \int \ldots \int_{R_{c_0}} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n = \alpha
\end{equation}
が成立するようにすれば、このが棄却域(有意水準)となる。
以上(1)(2)を行えば尤度比検定法を導くことができる。ここで、は上限ではなく最大値が使われているが、上限が使われているのは
理論の厳密にするためであり、実用上は最大値を用いればよいからである。
尤度比検定法を用いる具体的な例は少し長くなるし、疲れたのでまた今度にする。
確率ベクトル(標本確率変数)は分布に従うとし、
分布の確率(密度)関数をとする。
この時、検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta = \theta_0 (単純仮説) \\
H_1 : \theta = \theta_1 (単純仮説)
\end{array}
\right.
\end{eqnarray}
に対する有意水準の最強力検定は次式で与えられる。
(※のことを検定関数という)
\begin{eqnarray}
\varphi_0(\boldsymbol{x}) =
\left\{
\begin{array}{ll}
1 & if \;\; f(\boldsymbol{x};\theta_1) > kf(\boldsymbol{x};\theta_0) \\
\gamma & if \;\; f(\boldsymbol{x};\theta_1) = kf(\boldsymbol{x};\theta_0) \\
0 & if \;\; f(\boldsymbol{x};\theta_1) < kf(\boldsymbol{x};\theta_0)
\end{array}
\right.
\end{eqnarray}
ここで、定数は次式から定まるものである。
\begin{equation}
E_{\theta_0} ( \varphi(\boldsymbol{X}) ) = \alpha
\end{equation}
以上がNeyman-Pearsonの基本定理である。これだけではなんのことかわからないので、もう少しわかりやすく書いていくことにする。
大きさnの無作為に抽出された独立な標本について、帰無仮説、対立仮説共に単純仮説である検定問題
\begin{eqnarray}
\left\{
\begin{array}{l}
H_0 : \theta = \theta_0 (単純仮説) \\
H_1 : \theta = \theta_1 (単純仮説)
\end{array}
\right.
\end{eqnarray}
に対して、最強力棄却域はが以下で与えられる。
\begin{equation}
R^* = \{ (X_1,X_2,\ldots,X_n) ; \frac{\prod_{i=1}^n f(x_i;\theta_1)}{\prod_{i=1}^n f(x_i;\theta_0)} > c \} , c>0
\end{equation}
ただしこの時、は以下により決まる(は有意水準)
\begin{eqnarray}
P((X_1,X_2,\ldots,X_n) \in R^* | \theta = \theta_0) & = & P(第1種の誤りがおこる) \\
& = & \int \ldots \int_{R^*} \prod_{i=1}^n f(x_i;\theta_0)dx_1 \ldots dx_n \\
& = & \alpha
\end{eqnarray}
上記二つを行うことで最強力棄却域が求まることを、Neyman-Pearsonの基本定理は言っているのである。
この最強力棄却域の基づく検定のことを最強力検定と呼び、Neyman-Pearsonの基本定理を用いることで、
帰無仮説、対立仮説がともに単純仮説の際、最強力検定を求めることができるのである。
以下のことを覚えておきたい。
検定関数を決める棄却域を決める