統計・確率のお勉強

統計学を中心に色々勉強するブログ

多変量解析~同時分布(Joint Distribution)~

久々にこのブログを書きます...前回書いたのはいつだったか...。最近はTexにまとめてるんでこっちのことを完全に忘れてました...

研究室に配属されて、多変量解析の勉強が本格的に始まってきました。まだ、ほとんどやっていないに等しいですが、気が向いた時に学んだことを覚え書きしていこうと思います。

自分が勉強に使っているのは研究室指定の
T.W.Anderson『An Introduction to Multivariate Statistical Analysis』

です。これの流れに沿って勉強をすすめていこうと思います。

積分布関数(1変量の場合)

多変量に入る前に1変量について見ていきます。1変量の累積分布関数(cumulative distribution function)は次のように定義される

 {\displaystyle
F(x) = P(X \le x) = P(\{ \omega \in \Omega : X(\omega) \le x \})
}

分布関数F(\cdot)は次の性質を持つ。

1. 任意のx \in \mathbb{R}^1 に対して 0 \le F(x) < 1でありかつ
{\displaystyle
F(-\infty) \equiv \lim_{x \to -\infty} F(x) = 0, \;\;\; F(+\infty) \equiv \lim_{x \to +\infty} F(x) = 1
}
2.F(x)は単調非減少である. \;\; : \;\; x < y \Leftrightarrow F(x) \le F(y)

3. F(x)は右側連続である.  \;\; : \;\; \lim_{y \to x+0} F(y) = F(x)


指数分布について密度関数と分布関数を見てみる。
指数分布の密度関数は
{\displaystyle
f(x) = \lambda e^{-\lambda x}
}
f:id:doratai:20161129220259j:plain:w300
であり、分布関数は
{\displaystyle
F(x) = 1-e^{-\lambda x}
}
で与えられる。
f:id:doratai:20161129220355j:plain:w300
密度関数は分布関数の微分で定義され、次の関係が成り立つ。
$$
f(x) = \frac{d}{dx}F(x) \Leftrightarrow F(x) = \int_{-\infty}^x f(u)du
$$

また、この他に密度関数は次の性質を満たす。

  • f(x) \ge 0
  •  \int_{-\infty}^{+\infty}f(x) dx = 1

2変量の場合

次は2変量の場合について考える。2つの確率変数X,Yを考える。c.d.f.がすべての実数の組x,yについて次で定義される。
$$
F(x,y) = Pr\{ X \le x, Y \le y\}
$$
ここで考えているF(x,y)は絶対連続の場合。つまり、ほとんど至る所(almost everywhere)で偏導関数が存在する場合を考える。つまり、ほとんど至る所で次が成り立つ。
\begin{eqnarray}
\frac{\partial^2 F(x,y)}{\partial x \partial y} &=& f(x,y) \\
F(x,y) &=& \int_{-\infty}^y \int_{-\infty}^x f(u,v)dudv
\end{eqnarray}
が成り立つものとして考える。ここで非負関数f(x,y) \ge 0XYの密度関数と呼ばれる。この関数は以下の性質を持つ。

  • f(x,y) \ge 0
  • \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f(x,y) dxdy = 1

ほとんど至る所(almost everywhere)

ここで直接は関係無いが、少し気になるalmost everywhere について考えてみる。

定義

ほとんど至る所P(\omega)を命題関数とする.\{\omega \in \Omega : P(\omega) = 偽\}\mu-零集合である時、P(\omega)は"ほとんど至る所"で成立する.

ここで\mu-零集合とは、\mu(N) = 0 \;\;(\muは測度)なるN \in \mathcal{F} (\sigma -集合体)\mu-零可測集合といい、これが存在して、A \subset Nなる集合を\mu-零集合という。
ここで、\boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R}とし、F(\cdot)をc.d.f.とする。命題関数を

$$
P(\boldsymbol{\omega}) = \left\{
\begin{array}{cc}
TRUE & if \;\; F(\boldsymbol{\omega})\;has\;a\;partial\;derivative\;at\;the\;point\;\boldsymbol{\omega} \\
FALSE & elsewhere
\end{array}
\right.
$$
で与える。先程述べた、偏導関数がほとんど至る所でん存在するとは、集合
$$
\{ \boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R} :P(\boldsymbol{\omega}) = FALSE\}
$$
\mu-零集合であることを意味する。つまり
$$
\mu(\{ \boldsymbol{\omega} \in \mathbb{R} \times \mathbb{R} : P(\boldsymbol{\omega}) = FALSE\}) = 0
$$
これは、\mathbb{R} \times \mathbb{R}上の点\boldsymbol{\omega} = (x,y)について、偏導関数が存在しない点の集合の測度が0であることを意味する。

p変量の場合

今、p個の確率変数X_1,\cdots,X_pを考える。そのc.d.f.は
\begin{equation}
F(x_1,\ldots,x_p) = Pr\{X_1 \le x_1,\ldots,X_p \le x_p\}
\end{equation}
がすべての実数x_1,\ldots,x_pの集合によって定義される。密度関数はF(x_1,\ldots,x_p)が絶対連続であるならば
\begin{equation}
\frac{\partial^p F(x_1,\ldots,x_p)}{\partial x_1 \ldots \partial x_p} = f(x_1,\ldots,x_p)
\end{equation}
で与えられ、また
\begin{equation}
F(x_1,\ldots,x_p) = \int_{-\infty}^{x_p} \cdots \int_{-\infty}^{x_1} f(u_1,\ldots,u_p) du_1 \ldots du_p
\end{equation}
が成り立つ。p次元ユークリッド空間の任意の可測集合をRとする時、確率変数(X_1,\ldots,X_p)Rに属する確率は
\begin{equation}
Pr\{(X_1,\ldots,X_p) \in R\} = \underset{R}{\idotsint} f(x_1,\ldots,x_p) dx_1\ldots dx_p
\end{equation}
確率要素f(x_1,\cdots,x_p)\Delta x_1 \cdots \Delta x_pはほぼ確率P(x_1 \le X_1 \le x_1 + \Delta x_1,\cdots, x_p \le X_p \le x_p + \Delta x_p)
に等しい。
もしf(x_1,\cdots,x_p)が連続であるならば、同時積率は次で定義される。
\begin{equation}
E(X_1^{h_1}\cdots X_p^{h_p}) = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} x_1^{h_1} \cdots x_p^{h_p} f(x_1,\cdots,x_p) dx_1\cdots dx_p
\end{equation}

参考図書

T.W. Anderson(2003):『An introduction to Multivariate Statistical Analysis』, John Wiley & Sons
梅垣寿春,塚田真,大矢雅則(2015) : 『測度・積分・確率』,共立出版



書いてから気づいたんですが、似たような記事を前回も書いてあるみたいです...今回のが少し内容が重くなってるんでまあいいかなと...