読者です 読者をやめる 読者になる 読者になる

統計,確率のお勉強

統計学を主に勉強しています。勉強したことをアウトプットしていきます。 (※数式はMathJaxにより描画されています。ロードに少し時間がかかることがあります。)

Study Probability & Statistics

確率統計の理論と実践

n次の推移行列

関連・・・マルコフ連鎖

準備

確率過程の主要な問題の1つとして、現在の状態の分布から未来の状態を計算する、というものがある。マルコフ連鎖を用いることで、この確率を求めることが可能である。

\{X_n\}マルコフ連鎖i_0,i_1,\ldots,i_n \in Sの時
マルコフ連鎖の定義、推移行列 p_{i,j} の定義より

(1)
{
\begin{eqnarray}
&   & P(X_0=i_0,X_1=i_1,\ldots,X_n=i_n) \\
& = & P(X_0=i_0,\ldots,X_{n-1}=i_{n-1})\cdot \frac{P(X_0=i_0,X_1=i_1,\ldots,X_n=i_n)}{P(X_0=i_0,X_1=i_1,\ldots,X_{n-1}=i_{n-1})} \\
& = & P(X_0=i_0,\ldots,X_{n-1}=i_{n-1})\cdot P(X_n=i_n\;|X_0=i_0,\ldots,X_{n-1}=i_{n-1}) \\
& = & P(X_0=i_0,\ldots,X_{n-1}=i_{n-1})\cdot p_{i_{n-1},i_n} \\
& = & \ldots \\
& = & P(X_0=i_0)\cdot p_{i_0,i_1}\cdot p_{i_1,i_2}\cdot \ldots \cdot p_{i_{n-1},i_n}
\end{eqnarray}
}
が成り立つ。(1)式より、マルコフ連鎖は $X_0$ 分布(初期分布)と推移行列 \{p_{i,j}\} により定まることが分かる。

マルコフ連鎖(上)推移行列(下)[確認]
{
{\small \begin{equation}
P(X_{n+1} = j \; | X_0=j_0,X_1=j_1,\ldots,X_{n-1}=j_{n-1},X_n=i)=P(X_{n+1}=j\;|X_n=i) \\
p_{i,j} = P(X_{n+1}=j|X_n=i) \;\;\; (i,j \in S)
\end{equation}}
}

定義

p_{i,j^{(n)}}=P(X_n=j|X_0=i)n 次の推移確率 p_{i,j^{(n)}} を要素とする行列、

{
\begin{equation}
P^{(n)}=\{p_{i,j}^{(n)}\}_{i,j \in S}
\end{equation}
}

n次の推移行列という。

マルコフ連鎖の式は n,m > 0 に対して
{
\begin{equation}
P(X_0=i_0,X_1=i_1,\ldots,X_{n+m}=i_{n+m}) = P(X_0=i_0)\cdot p_{i_0,i_1}\cdot p_{i_1,i_2}\cdot \ldots \cdot p_{i_{n-1},i_n}
\end{equation}
}
である。この両辺を i_0,i_n,i_{n+m} を除いた全ての i_j について和を取ると

{
\begin{eqnarray}
&   & P(X_0=i_0,X_n=i_n,X_{n+m}=i_{n+m}) \\
& = & \sum_{i_i,\ldots,i_{n-1}} P(X_0=i_0)p_{i_0,i_1}\ldots p_{i_{n-1},i_n} \sum_{i_{n+1},\ldots,i_{n+m-1}} p_{i_n,i_{n+1}}\ldots p_{i_{n+m-1},i_{n+m}} \\
& = & P(X_0=i_0,X_{n}=i_n)P(X_{n+m}=i_{n+m} | X_n=i_n)
\end{eqnarray}
}

である。ここで両辺を P(X_0=i_0,X_n=i_n) で割ると

{
\begin{equation}
P(X_{n+m}=i_{n+m} | X_0=i_0,X_n=i_n) = P(X_{n+m}=i_{n+m} | X_n=i_n)
\end{equation}
}

を得る。これはマルコフ連鎖の式の別表現である。

補題 (チャップマン・コルモゴロフの公式)

任意の整数 m,n \ge 0i,j \in S に対して
{
\begin{equation}
p_{i,j}^{(n+m)}=\sum_{k \in S} p_{i,k}^{(n)} p_{k,j}^{(m)} \;\;\;\;\; (※)
\end{equation}
}
が成り立つ。

証明

\cup_{k\in S} \{X_n=k\}=\Omega であるから
{
\begin{eqnarray}
p_{i,j}^{(n+m)} & = & P(X_{n+m}=j|X_0=i) \\
& = & \sum_{k\in S} P(X_{n+m}=j,X_n=i_k|X_0=i) \\
& = & \sum_{k\in S} P(X_{n+m}=j|X_n=k,X_0=i)P(X_n=k|X_0=i) \\
& = & \sum_{k\in S} P(X_{x+m}=j|X_n=k)P(X_n=k|X_0=i) \\
& = & \sum_{k\in S} p_{k,j}^{(m)}p_{i,k}^{(n)} \\
& = & \sum_{k\in S} p_{i,k}^{(n)}p_{k,j}^{(m)} \;\;\;\; \Box
\end{eqnarray}
}

同じ状態空間 S より定義された2つの推移行列 P=\{p_{i,j}\},Q=\{q_{i,j}\}の積 PQ を通常の行列の積と同様に

{
\begin{equation}
PQの(i,j)要素=\sum_{k\in S} p_{i,k}q_{k,j}
\end{equation}
}

により定義する。そうすると(※)を

{
\begin{equation}
P^{(n+m)}=P^{(n)}P^{(m)}
\end{equation}
}

と表すことができ、更に

{
\begin{equation}
P^{(n)}=P^{(n-1)}P=\ldots=P^n
\end{equation}
}

よりn次の推移行列は推移行列のn回の積であることが分かる。

参考書籍

宮沢政清(2013)『確率と確率過程』(現代数学ゼミナール17)近代科学社

広告を非表示にする