正規分布 - 統計・確率のお勉強

連続型モデルで、統計確率の中でも最も有名で重要な分布である正規分布について。

正規分布は $N(\mu,\sigma^2)$ で表される。

確率密度関数

${ f(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\} }$

確率密度関数は上記で表される。平均は $\mu$ 分散が $\sigma^2$

また、 $N(0,1)$ の時、標準正規分布と呼ばれ、

${ f(x) = \frac{1}{\sqrt{2\pi}}\exp\{-\frac{x^2}{2}\} }$

で確率密度関数は表される。

標準化

標準化を行うことで標準正規分布に直すことが可能。

${ X \sim N(\mu,\sigma^2) \Rightarrow Y=\frac{X-\mu}{\sigma} \sim N(0,1) }$

最尤推定量

最尤推定量は以下で与えられる。

${ \hat{\mu} = \bar{X},\;\;\; \hat{\sigma^2} = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 }$

証明
$\mu,\sigma^2$ ともに未知の場合について考える。

尤度関数 $l(\mu, \sigma^2)$ は

${ \begin{eqnarray} l(\mu, \sigma^2) & = & \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\} \\ & = & (\frac{1}{2\pi\sigma^2})^{\frac{n}{2}}\exp\{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2\} \end{eqnarray} }$

またこれより対数尤度関数は

${ \log l(\mu,\sigma^2) = -\frac{n}{2}\log(2\pi)-\frac{n}{2}\log(\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2 }$

であるので、 $\mu,\sigma^2$ 最大たらしめるに連立方程式

${ \begin{eqnarray} \left\{ \begin{array}{l} \frac{\partial \log l(\mu,\sigma^2)}{\partial \mu} = -\frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i-\mu) = 0 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(1)\\ \frac{\partial \log l(\mu,\sigma^2)}{\partial \sigma^2} = -\frac{n}{2\sigma^2}+\frac{1}{2(\sigma^2)^2}\sum_{i=1}^n(x_i-\mu)^2 = 0 \;\;\;(2) \end{array} \right. \end{eqnarray} }$

を解く。(1)式から

${ \mu=\frac{1}{n}\sum_{i=1}^n x_i = \bar{x} }$

これと及び、(2)式から

${ \sigma^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2 }$

を得る。

よって最尤推定量は

${ \hat{\mu} = \frac{1}{n}\sum_{i=1}^n X_i = \bar{X} \\ \hat{\sigma^2} = \frac{1}{n} \sum_{i=1}^n (X_i-\bar{X})^2 = S^2 }$

積率母関数

正規分布 $N(\mu,\sigma^2)$ の積率母関数は

${ M_{X}(t) = E(e^{tX}) = e^{\mu t + \frac{1}{2}\sigma^2 t^2} }$

で与えられる。

証明
$M_X(t) = E(e^{tX})$
$= \int_{-\infty}^{\infty} e^{tx} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2\sigma^2}(x-\mu)^2}dx]$
$= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{(x-\mu)^2-2t\sigma^2x\}]dx$
$=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{x^2-2\mu x + \mu^2-2t\sigma^2 x\}]dx$
$=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{x^2-2(\mu+t\sigma^2)x+\mu^2\}]dx$
$=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{(x-(\mu+t\sigma^2))^2+\mu^2-(\mu+t\sigma^2)^2\}]dx$
$=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{x-(\mu+t\sigma^2)\}+\mu t + \frac{t^2\sigma^2}{2}]dx$
$= e^{\mu t + \frac{t^2\sigma^2}{2}}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\{x-(\mu+t\sigma^2)\}^2}{2\sigma^2}}dx$
$=e^{\mu t + \frac{t^2\sigma^2}{2}} \cdot 1$
$=e^{\mu t + \frac{1}{2}\sigma^2t^2}$

標準正規分布の場合は

${ M_X(t) = e^{\frac{t^2}{2}} }$

である。

再生性

${ X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2) かつX,Yが独立 \Rightarrow X+Y \sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2) }$

証明

$X_i\;\;(i=1,2,\ldots,n)$ をそれぞれ $N(\mu_i,\sigma_i^2)$ に従う独立な確率変数とする。
正規分布の積率母関数は先に示したとおり。

${ M_{c_1X_1}(t) = e^{c_1\mu_1t+\frac{1}{2}c_1^2\sigma_1^2t^2} }$

より $c_1X_1$ は $N(c_1\mu_1,c_1^2\sigma_1^2)$ に従う。また

${ \begin{eqnarray} M_{X_1+X_2}(t) &=& E(e^{t(X_1+X_2)}) \\ &=& E(e^{tX_1})E(e^{tX_2}) \\ &=& e^{\mu_1t+\frac{1}{2}\sigma_1^2t^2}\cdot e^{\mu_2t+\frac{1}{2}\sigma_2^2t^2} \\ &=& e^{(\mu_1+\mu_2)t+\frac{1}{2}(\sigma_1^2+\sigma_2^2)t^2} \end{eqnarray} }$

より、 $X_1+X_2$ は $N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$ に従う。
これらを一般化して、一次結合 $S=\sum_{i=1}^n c_iX_i$ は $N(\sum_{i=1}^nc_i\mu_i,\sum_{i=1}^n c_i^2\sigma_i^2)$ に従うことがわかる。