統計,確率のお勉強

統計学を主に勉強しています。勉強したことをアウトプットしていきます。 (※数式はMathJaxにより描画されています。ロードに少し時間がかかることがあります。)

Study Probability & Statistics

確率統計の理論と実践

多変量解析~同時分布(Joint Distribution)~

久々にこのブログを書きます...前回書いたのはいつだったか...。最近はTexにまとめてるんでこっちのことを完全に忘れてました...

研究室に配属されて、多変量解析の勉強が本格的に始まってきました。まだ、ほとんどやっていないに等しいですが、気が向いた時に学んだことを覚え書きしていこうと思います。

自分が勉強に使っているのは研究室指定の
T.W.Anderson『An Introduction to Multivariate Statistical Analysis』

です。これの流れに沿って勉強をすすめていこうと思います。

積分布関数(1変量の場合)

多変量に入る前に1変量について見ていきます。1変量の累積分布関数(cumulative distribution function)は次のように定義される

 {\displaystyle
F(x) = P(X \le x) = P(\{ \omega \in \Omega : X(\omega) \le x \})
}

分布関数F(\cdot)は次の性質を持つ。

1. 任意のx \in \mathbb{R}^1 に対して 0 \le F(x) < 1でありかつ
{\displaystyle
F(-\infty) \equiv \lim_{x \to -\infty} F(x) = 0, \;\;\; F(+\infty) \equiv \lim_{x \to +\infty} F(x) = 1
}
2.F(x)は単調非減少である. \;\; : \;\; x < y \Leftrightarrow F(x) \le F(y)

3. F(x)は右側連続である.  \;\; : \;\; \lim_{y \to x+0} F(y) = F(x)


指数分布について密度関数と分布関数を見てみる。
指数分布の密度関数は
{\displaystyle
f(x) = \lambda e^{-\lambda x}
}
f:id:doratai:20161129220259j:plain:w300
であり、分布関数は
{\displaystyle
F(x) = 1-e^{-\lambda x}
}
で与えられる。
f:id:doratai:20161129220355j:plain:w300
密度関数は分布関数の微分で定義され、次の関係が成り立つ。
$$
f(x) = \frac{d}{dx}F(x) \Leftrightarrow F(x) = \int_{-\infty}^x f(u)du
$$

また、この他に密度関数は次の性質を満たす。

  • f(x) \ge 0
  •  \int_{-\infty}^{+\infty}f(x) dx = 1

2変量の場合

次は2変量の場合について考える。2つの確率変数X,Yを考える。c.d.f.がすべての実数の組x,yについて次で定義される。
$$
F(x,y) = Pr\{ X \le x, Y \le y\}
$$
ここで考えているF(x,y)は絶対連続の場合。つまり、ほとんど至る所(almost everywhere)で偏導関数が存在する場合を考える。つまり、ほとんど至る所で次が成り立つ。
\begin{eqnarray}
\frac{\partial^2 F(x,y)}{\partial x \partial y} &=& f(x,y) \\
F(x,y) &=& \int_{-\infty}^y \int_{-\infty}^x f(u,v)dudv
\end{eqnarray}
が成り立つものとして考える。ここで非負関数f(x,y) \ge 0XYの密度関数と呼ばれる。この関数は以下の性質を持つ。

  • f(x,y) \ge 0
  • \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x,y) dxdy = 1

ほとんど至る所(almost everywhere)

ここで直接は関係無いが、少し気になるalmost everywhere について考えてみる。

定義

ほとんど至る所P(\omega)を命題関数とする.\{\omega \in \Omega : P(\omega) = 偽\}\mu-零集合である時、P(\omega)は"ほとんど至る所"で成立する.

ここで\mu-零集合とは、\mu(N) = 0 \;\;(\muは測度)なるN \in \mathcal{F} (\sigma -集合体)\mu-零可測集合といい、これが存在して、A \subset Nなる集合を\mu-零集合という。
ここで、\boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R}とし、F(\cdot)をc.d.f.とする。命題関数を

$$
P(\boldsymbol{\omega}) = \left\{
\begin{array}{cc}
TRUE & if \;\; F(\boldsymbol{\omega})\;has\;a\;partial\;derivative\;at\;the\;point\;\boldsymbol{\omega} \\
FALSE & elsewhere
\end{array}
\right.
$$
で与える。先程述べた、偏導関数がほとんど至る所でん存在するとは、集合
$$
\{ \boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R} :P(\boldsymbol{\omega}) = FALSE\}
$$
\mu-零集合であることを意味する。つまり
$$
\mu(\{ \boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R} : P(\boldsymbol{\omega}) = FALSE\}) = 0
$$
これは、\mathbb{R} \times \mathbb{R}上の点\boldsymbol{\omega} = (x,y)について、偏導関数が存在しない点の集合の測度が0であることを意味する。

p変量の場合

今、p個の確率変数X_1,\cdots,X_pを考える。そのc.d.f.は
\begin{equation}
F(x_1,\ldots,x_p) = Pr\{X_1 \le x_1,\ldots,X_p \le x_p\}
\end{equation}
がすべての実数x_1,\ldots,x_pの集合によって定義される。密度関数はF(x_1,\ldots,x_p)が絶対連続であるならば
\begin{equation}
\frac{\partial^p F(x_1,\ldots,x_p)}{\partial x_1 \ldots \partial x_p} = f(x_1,\ldots,x_p)
\end{equation}
で与えられ、また
\begin{equation}
F(x_1,\ldots,x_p) = \int_{-\infty}^{x_p} \cdots \int_{-\infty}^{x_1} f(u_1,\ldots,u_p) du_1 \ldots du_p
\end{equation}
が成り立つ。p次元ユークリッド空間の任意の可測集合をRとする時、確率変数(X_1,\ldots,X_p)Rに属する確率は
\begin{equation}
Pr\{(X_1,\ldots,X_p) \in R\} = \underset{R}{\idotsint} f(x_1,\ldots,x_p) dx_1\ldots dx_p
\end{equation}
確率要素f(x_1,\cdots,x_p)\Delta x_1 \cdots \Delta x_pはほぼ確率P(x_1 \le X_1 \le x_1 + \Delta x_1,\cdots, x_p \le X_p \le x_p + \Delta x_p)
に等しい。
もしf(x_1,\cdots,x_p)が連続であるならば、同時積率は次で定義される。
\begin{equation}
E(X_1^{h_1}\cdots X_p^{h_p}) = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} x_1^{h_1} \cdots x_p^{h_p} f(x_1,\cdots,x_p) dx_1\cdots dx_p
\end{equation}

参考図書

T.W. Anderson(2003):『An introduction to Multivariate Statistical Analysis』, John Wiley & Sons
梅垣寿春,塚田真,大矢雅則(2015) : 『測度・積分・確率』,共立出版



書いてから気づいたんですが、似たような記事を前回も書いてあるみたいです...今回のが少し内容が重くなってるんでまあいいかなと...

数理統計学の勝利~ニューヨークタイムズのネイト・シルバーの数理モデル予測が全50州で的中~(外部記事)

統計学がアメリカで政治学者相手に大勝したようですね。
政治学者はどのような思考回路で政治予測や分析をしてるかはわかりませんが、計算機によって膨大なデータを処理することになったこの時代、1人の人間が持つ経験や思考では、もはや上回ることはできないでしょう。


ネイト・シルバー - Wikipedia


以下引用

New York Timesの選挙予測専門家、ネイト・シルバーは昨夜、大統領選の勝敗を全50州で的中させた。 その一方で、いわゆる政治専門家たちの予想はほとんどが外れた。中には笑うしかないような外れ方をした者もいる。

ネイト・シルバーについてはテレビのゲストに呼ばれる政治専門家が口を揃えて「リベラルに偏った見解」と非難してきた。しかしシルバーは今回も彼の作った数理的予測モデルが古臭い専門家の勘や生半可な統計に基づく推測より圧倒的に優れていたことを証明した。

残る疑問は、数理モデルのこれほどの有効性を見た後でもテレビのプロデューサーたちは時代遅れの政治専門家なるものを番組に使い続けるつもりなのかどうかという点だけだ。

シルバーの数理モデルの特長は、どんな政治専門家もとうてい考慮しきれないほど膨大な量の数値を入力として用いるところにある。シルバー・モデルでは各種の世論調査の結果を、規模、質、時期などによって重み付けし、過去の同種の選挙結果と照合される(もちろんそれ以外にもさまざまな高度な統計処理が用いられている)。

今回、予測を100票も外した〔大統領選挙人の総数は538人〕専門家はこんなことを言っていた。曰く、オバマ大統領にはもはや伝えるべきメッセージがない、問題意識がない、 過去4年間の業績に対する説明責任を果たしていない、それを有権者は見ぬいている…。そう書いたのはクリントン大統領の元補佐官、ディック・モリスだが、彼の予測と現実はグランドキャニオンくらいかけ離れていた(ロムニーが325票獲得するというモリスの予測は100票以上外れていた)。

シルバーのアプローチの成功はテレビ局にジレンマを与えている。第一に、この種の議論を理解するためには視聴者に数学の素養が必要だ。仮に古臭い政治評論家を数理統計学者で置き換えたとしても、今度は番組同士で自分たちの予測の優位性を説明するためには面倒な統計学の議論が必要になる。視聴者はそんな議論にはすぐに飽きてしまうだろう。

第2に、ショッキングな選挙予測を報じて視聴率を取りに行けなくなる。視聴率を稼げる意外な結果は、ほとんどの場合不正確な予測だ。ところがシルバー・モデルは多数の世論調査を詳しく分析して平均を出しているので概ね常識的で安定した(番組としては退屈な)結果が出る。

しかしシルバー・モデルが与えるもっとも大きく、破壊的な影響は、伝統的な選挙キャンペーンや政治評論はもはや選挙結果に決定的な影響を与えることはないという事実が明らかになってしまうことだ。シルバー・モデルは選挙の数ヶ月前からオバマの勝利がほぼ確実であると予測していた。選挙は現職有利というのがセオリーであり、ロムニーにはそれを覆すだけのカリスマが欠けており、共和党内でさえそれは意識されていた。また他の重要な要素、景気や失業率に選挙運動は何の影響も与えることができない。選挙を前に景気が上向けば保守系の挑戦者は苦戦を免れない。

つまり、「アメリカ人はもはやオバマのリベラルな社会政策を見放した」云々という「専門家」たちの御託宣はまったく現実とは関係がなかったわけだ。テレビに毎日現れる政治評論家、選挙専門家の発言は大部分がたわごとだった。しかしテレビのプロデューサーたちは派手な党派的な議論、不正確だが一般受けしやすい選挙予測などによって視聴率を稼ごうとする強い動機を持っている。シルバーは今回、ひとつの戦闘には勝ったものの、戦争に勝つのはまだ先のことになりそうだ。

〔日本版〕ネイト・シルバーはアメリカでもっとも注目されている選挙専門家。シカゴ大学経済学部を卒業した後、2002年に、KPMG会計事務所に勤務中にメジャー・リーグ野球選手の統計的評価システムPECOTAをを開発した。これは映画「マネー・ボール」で日本でも知られるようになったセイバーメトリクスをオンライン化したもので、2007年にはPECOTAをBaseballProspectus社に売却して、選挙予測の分野に進出。2008年のブッシュ対ゴアオバマ対マケインの大統領選で50州中49州の勝敗を的中させ、いちやく注目されるようになった。現在、FiveThirtyEightブログはニューヨークタイムズの一部となっている。著書にThe Signal and the Noiseなどがある。)

元記事↓
大統領選でニューヨークタイムズのネイト・シルバーの数理モデル予測が全50州で的中―政治専門家はもはや不要? | TechCrunch Japan


統計学は理系だけでなく文系分野と考えられるところでも非常によく使われています。実務の面での汎用性は現状、"最強の学問"です


多変量解析~多変量正規分布の標準化~

1変量の時の標準化はそんなに苦では無いですよね?ここではp変量の多変量正規分布の標準化をやっていきたいと思います。

まずは多変量正規分布の確認

\boldsymbol{X} \sim N(\boldsymbol{\mu},\Sigma) とする。\Sigma は正定値行列より \Sigma = CC^{\mathrm{T}} なる正則行列 C が存在する。

多変量正規分布


f(\boldsymbol{x}) = \frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}} \exp \{-\frac{1}{2}(\boldsymbol{x-\boldsymbol{\mu}})^{\mathrm{T}}\Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}) \}

標準化

\boldsymbol{Y} = C^{-1}(\boldsymbol{X}-\boldsymbol{\mu}) とする。これの逆変換が \boldsymbol{x} = C\boldsymbol{y} + \boldsymbol\mu で与えられる。

ヤコビアンを求めておきます。

$$
J(y_1,\cdots,y_p) = \mod \left|
\begin{array}{ccc}
\frac{\partial x_1}{\partial y_1} & \cdots & \frac{\partial x_1}{\partial y_p} \\
\vdots & \ddots & \vdots \\
\frac{\partial x_p}{\partial y_1} & \cdots & \frac{\partial x_p}{\partial y_p}
\end{array}
\right|
= \mod \left|
\begin{array}{ccc}
c_{11} & \cdots & c_{1p} \\
\vdots & \ddots & \vdots \\
c_{p1} & \cdots & c_{pp}
\end{array}
\right| = \mod |C|
$$

また、\Sigma = CC^{\mathrm{T}} より


C^{-1}\Sigma(C^{\mathrm{T}})^{-1} = I


この時、

|C^{-1}| | \Sigma | | (C^{\mathrm{T}})^{-1} = |I|
\frac{1}{|C|} |\Sigma| \frac{1}{|C|} = 1
|\Sigma| = |C|^2


である。これらから



g(\boldsymbol{y})dy_1\cdots dy_p = f(\boldsymbol{x})dx_1 \cdots dx_p
 = \frac{1}{(2\pi)^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}\exp \{-\frac{1}{2}(C\boldsymbol{y} + \boldsymbol{\mu} - \boldsymbol{\mu})^{\mathrm{T}} \Sigma^{-1} (C\boldsymbol{y} + \boldsymbol{\mu} - \boldsymbol{\mu}) \} J(y_1,\cdots,y_p) dy_1\cdots dy_p
= \frac{1}{(2\pi)^{\frac{p}{2}}|C|} \exp \{-\frac{1}{2} (C\boldsymbol{y})^{\mathrm{T}} \} (CC^{\mathrm{T}})^{-1} (C\boldsymbol{y}) \mod |C| dy_1\cdots dy_p
= \frac{1}{(2\pi)^{\frac{p}{2}}} \exp \{-\frac{1}{2}\boldsymbol{y}^{\mathrm{T}}C^{\mathrm{T}} (C^{\mathrm{T}})^{-1}
 C^{-1}C \boldsymbol{y} \}dy_1\cdots dy_p
= \frac{1}{(2\pi)^{\frac{p}{2}}} \exp \{-\frac{1}{2} \boldsymbol{y}^{\mathrm{T}} \boldsymbol{y} \} dy_1\cdots dy_p
\therefore g(\boldsymbol{y}) = \frac{1}{(2\pi)^{\frac{p}{2}}} \exp \{-\frac{1}{2} \boldsymbol{y}^{\mathrm{T}} \boldsymbol{y} \}



以上から Y はp変量標準正規分布正規分布 N(\boldsymbol{0},I) に従うので変数変換 Y = C^{-1}(\boldsymbol{X} - \boldsymbol{\mu}) は標準化である。

参考文献

特に無し

ベクトル微分


多変量解析を勉強するにあたって、必要になることがあるのがベクトルの微分である。

まずはまとめから


$$
\begin{eqnarray}
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\boldsymbol{\beta}} &=& \boldsymbol{C} \tag{1} \\
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\boldsymbol{\beta}} &=& (A + A^{\mathrm{T}})\boldsymbol{\beta} \tag{2}
\end{eqnarray}
$$

これらを証明していく。ベクトルの微分を考えていくうえでは、面倒だが、成分を
考えていくことになる。

(1)の証明

$$
\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta} = c_1\beta_1 + c_2\beta_2 + \cdots + c_p\beta_p
$$

より

$$
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_i} = c_i
$$

ただし i = 1,2,\cdots,p

よって

$$
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\boldsymbol{\beta}} = \left(
\begin{array}{c}
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_1} \\
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_2} \\
\vdots \\
\frac{\partial(\boldsymbol{C}^{\mathrm{T}}\boldsymbol{\beta})}{\partial\beta_p}
\end{array}
\right)
= \left(
\begin{array}{c}
c_1 \\
c_2 \\
\vdots \\
c_p
\end{array}
\right)
=\boldsymbol{C}
$$

(2)の証明

$$
\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta} = \sum_{i=1}^p\sum_{j=1}^p a_{ij}\beta_i\beta_j
$$

より

$$
\begin{eqnarray}
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_k} &=& \sum_{j=1}^p a_{kj}\beta_j + \sum_{i=1}^p a_{ik}\beta_i \\
&=& (a_{k1},\cdots,a_{kp})\boldsymbol{\beta} + (a_{1k},\cdots,a_{pk})\boldsymbol{\beta} \\
&=& \{(a_{k1},\cdots,a_{kp}) + (a_{1k},\cdots,a_{pk})\}\boldsymbol{\beta} \\
&=& (\boldsymbol{a}_k + \boldsymbol{a}_k^{\mathrm{T}})\boldsymbol{\beta}
\end{eqnarray}
$$

ここで

$$
A = \left(
\begin{array}{cccc}
a_{11} & a_{12} & \ldots & a_{1p} \\
a_{21} & a_{22} & \ldots & a_{2p} \\
\vdots & \vdots & \ddots & \vdots \\
a_{p1} & a_{p2} & \ldots & a_{pp}
\end{array}
\right)
\\
A^{\mathrm{T}} = \left(
\begin{array}{cccc}
a_{11} & a_{21} & \ldots & a_{p1} \\
a_{12} & a_{22} & \ldots & a_{p2} \\
\vdots & \vdots & \ddots & \vdots \\
a_{1p} & a_{2p} & \ldots & a_{pp}
\end{array}
\right)
$$

であるから、

$$
\frac{\partial\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta}}{\partial\boldsymbol{\beta}}
= \left(
\begin{array}{c}
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_1} \\
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_2} \\
\vdots \\
\frac{\partial(\boldsymbol{\beta}^{\mathrm{T}}A\boldsymbol{\beta})}{\partial\beta_p}
\end{array}
\right)
= (A + A^{\mathrm{T}})\boldsymbol{\beta}
$$

となる。

参考文献

特に無し

多変量解析1 多変量分布他

多変量分布

今回は多変量解析です。線形代数の知識が必要になってきて私は少し苦手
です...。
しかし今の時代、1変量でデータ解析なんて殆ど無いでしょうからちゃんとべんきょうしなきゃですなあ。

2変量の場合について

まずは2変量の場合について見ていきましょう。まず、確率変数(random variables = r.v.) X,Y を考えます。\forall x,y \in \mathbb{R} に対して、積分布関数(cumlative distribution function = c.d.f.)は次で定義されます。

$$
F(x,y) = Pr\{X\le x, Y\le y \}
$$

積分布関数が絶対連続(absolutely continuous)であるとき、偏微分がほとんどいたるところで存在し

絶対連続 - Wikipedia


$$
\frac{\partial^2F(x,y)}{\partial x \partial y} = f(x,y)
$$

及び

$$
F(x,y) = \int_{-\infty}^y \int_{-\infty}^x f(u,v)dudv
$$

が成り立つ。


f(x,y) \ge 0
\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(u,v)dudv = 1

p変量

次にp変量の場合を考える。 X_1,X_2,\cdots,X_p をr.v.とする。c.d.f.は

$$
F(x_1,x_2,\cdots,x_p) = Pr(X_1 \le x_1,X_2 \le x_2,\cdots,X_p \le x_p)
$$

F(x_1,x_2,\cdots,x_p) が絶対連続の時、密度関数(density function)は

$$
\frac{\partial^p F(x_1,x_2,\cdots,x_p)}{\partial x_1\partial x_2 \cdots\partial x_p} = f(x_1,x_2,\cdots,x_p)
$$

また、

$$
F(x_1,\cdots,x_p) = \int_{-\infty}^{x_p}\cdots\int_{-\infty}^{x_1}f(u_1,\cdots,u_2)du_1\cdots du_p
$$

周辺分布(Marginal Distribution)

再び2変量で見ていきます。確率変数 X,Y の累積分布関数(c.d.f.)が与えられた時 X周辺分布関数

\begin{eqnarray}
Pr\{X\le x\} &=& Pr\{X\le x,Y \le \infty\} \\
&=& F(x,\infty)
\end{eqnarray}

で与えられ、これを F(x) と表記する。また

\begin{eqnarray}
F(x) &=& \int_{-\infty}^{x}\int_{-\infty}^{\infty}f(u,v)dvdu \\
&=& \int_{-\infty}^{x}f(u)du
\end{eqnarray}

となる。 Y に対しても同様に求めることができる。

さて再びp変量について考えていきます。r.v. X_1,\cdots,X_p のc.d.f.として F(x_1,\cdots,x_p) が与えられたとする。この時、周辺分布は

\begin{eqnarray}
Pr\{X_1\le x_1,\cdots,X_r\le x_r\} &=& Pr\{X_1\le x_1,\cdots,X_r\le x_r,X_{r+1} \le \infty,\cdots,X_p\le \infty\} \\
&=& F(x_1,\cdots,x_r,\infty,\cdots,\infty)
\end{eqnarray}

ここで X_1,\cdots,X_r の周辺密度は

$$
\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty}f(u_1,\cdots,u_p)du_{r+1}\cdots du_{p}
$$

で与えられる。

今日はここまで

まだ定義とか書いただけだけどここまでだな...勉強始めたばかりでまだ良く見えてこない...

参考文献

Anderson T.W.(1958)『An Introduction to Multivariate Statistical Analysis』 John Wiley & Sons