読者です 読者をやめる 読者になる 読者になる

統計,確率のお勉強

統計学を主に勉強しています。勉強したことをアウトプットしていきます。 (※数式はMathJaxにより描画されています。ロードに少し時間がかかることがあります。)

Study Probability & Statistics

確率統計とアクチュアリーサイエンス

正規分布

確率分布

連続型モデルで、統計確率の中でも最も有名で重要な分布である正規分布について。

正規分布N(\mu,\sigma^2) で表される。

確率密度関数

{
f(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}
}

確率密度関数は上記で表される。平均は \mu 分散が \sigma^2

また、N(0,1) の時、標準正規分布と呼ばれ、

{
f(x) = \frac{1}{\sqrt{2\pi}}\exp\{-\frac{x^2}{2}\}
}

確率密度関数は表される。

標準化

標準化を行うことで標準正規分布に直すことが可能。

{
X \sim N(\mu,\sigma^2) \Rightarrow Y=\frac{X-\mu}{\sigma} \sim N(0,1)
}

最尤推定

最尤推定量は以下で与えられる。

{
\hat{\mu} = \bar{X},\;\;\; \hat{\sigma^2} = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2
}

証明
\mu,\sigma^2 ともに未知の場合について考える。

尤度関数 l(\mu, \sigma^2)

{
\begin{eqnarray}
l(\mu, \sigma^2) & = & \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}\exp\{-\frac{(x_i-\mu)^2}{2\sigma^2}\} \\
& = & (\frac{1}{2\pi\sigma^2})^{\frac{n}{2}}\exp\{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2\}
\end{eqnarray}
}

またこれより対数尤度関数は

{
\log l(\mu,\sigma^2) = -\frac{n}{2}\log(2\pi)-\frac{n}{2}\log(\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i - \mu)^2
}

であるので、 \mu,\sigma^2 最大たらしめるに連立方程式

{
\begin{eqnarray}
  \left\{
    \begin{array}{l}
      \frac{\partial \log l(\mu,\sigma^2)}{\partial \mu} = -\frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i-\mu) = 0 \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;(1)\\
      \frac{\partial \log l(\mu,\sigma^2)}{\partial \sigma^2} = -\frac{n}{2\sigma^2}+\frac{1}{2(\sigma^2)^2}\sum_{i=1}^n(x_i-\mu)^2 = 0 \;\;\;(2)
    \end{array}
  \right.
\end{eqnarray}
}

を解く。(1)式から

{
\mu=\frac{1}{n}\sum_{i=1}^n x_i = \bar{x}
}

これと及び、(2)式から

{
\sigma^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2
}

を得る。

よって最尤推定量は

{
\hat{\mu} = \frac{1}{n}\sum_{i=1}^n X_i = \bar{X} \\
\hat{\sigma^2} = \frac{1}{n} \sum_{i=1}^n (X_i-\bar{X})^2 = S^2
}

積率母関数

正規分布 N(\mu,\sigma^2)積率母関数

{
M_{X}(t) = E(e^{tX}) = e^{\mu t + \frac{1}{2}\sigma^2 t^2}
}

で与えられる。

証明
M_X(t) = E(e^{tX})
= \int_{-\infty}^{\infty} e^{tx} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2\sigma^2}(x-\mu)^2}dx]
= \int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{(x-\mu)^2-2t\sigma^2x\}]dx
=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{x^2-2\mu x + \mu^2-2t\sigma^2 x\}]dx
=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{x^2-2(\mu+t\sigma^2)x+\mu^2\}]dx
=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{(x-(\mu+t\sigma^2))^2+\mu^2-(\mu+t\sigma^2)^2\}]dx
=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}\exp[-\frac{1}{2\sigma^2}\{x-(\mu+t\sigma^2)\}+\mu t + \frac{t^2\sigma^2}{2}]dx
= e^{\mu t + \frac{t^2\sigma^2}{2}}\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\{x-(\mu+t\sigma^2)\}^2}{2\sigma^2}}dx
=e^{\mu t + \frac{t^2\sigma^2}{2}} \cdot 1
=e^{\mu t + \frac{1}{2}\sigma^2t^2}


標準正規分布の場合は

{
M_X(t) = e^{\frac{t^2}{2}}
}

である。

再生性

{
X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2) かつX,Yが独立 \Rightarrow X+Y \sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)
}

証明

X_i\;\;(i=1,2,\ldots,n) をそれぞれ N(\mu_i,\sigma_i^2) に従う独立な確率変数とする。
正規分布積率母関数は先に示したとおり。

{
M_{c_1X_1}(t) = e^{c_1\mu_1t+\frac{1}{2}c_1^2\sigma_1^2t^2}
}

より c_1X_1N(c_1\mu_1,c_1^2\sigma_1^2) に従う。また

{
\begin{eqnarray}
M_{X_1+X_2}(t) &=& E(e^{t(X_1+X_2)}) \\
&=& E(e^{tX_1})E(e^{tX_2}) \\
&=& e^{\mu_1t+\frac{1}{2}\sigma_1^2t^2}\cdot e^{\mu_2t+\frac{1}{2}\sigma_2^2t^2} \\
&=& e^{(\mu_1+\mu_2)t+\frac{1}{2}(\sigma_1^2+\sigma_2^2)t^2}
\end{eqnarray}
}

より、 X_1+X_2N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2) に従う。
これらを一般化して、一次結合 S=\sum_{i=1}^n c_iX_iN(\sum_{i=1}^nc_i\mu_i,\sum_{i=1}^n c_i^2\sigma_i^2) に従うことがわかる。

グラフ

グラフの外観は以下のようになっている。(EXCELで作成)


f:id:doratai:20160229232231p:plain

参考文献

鈴木武・山田作太郎(2006)『数理統計学-基礎から学ぶデータ解析-』内田老鶴圃.
国沢清典(2012)『確率統計演習2-統計』培風館.
稲垣宣生(2013)『数理統計学』(数学シリーズ)裳華房.

広告を非表示にする