n次の推移行列 - 統計・確率のお勉強

準備

確率過程の主要な問題の1つとして、現在の状態の分布から未来の状態を計算する、というものがある。マルコフ連鎖を用いることで、この確率を求めることが可能である。

$\{X_n\}$ がマルコフ連鎖、 $i_0,i_1,\ldots,i_n \in S$ の時
マルコフ連鎖の定義、推移行列 $p_{i,j}$ の定義より

(1)
${ \begin{eqnarray} & & P(X_0=i_0,X_1=i_1,\ldots,X_n=i_n) \\ & = & P(X_0=i_0,\ldots,X_{n-1}=i_{n-1})\cdot \frac{P(X_0=i_0,X_1=i_1,\ldots,X_n=i_n)}{P(X_0=i_0,X_1=i_1,\ldots,X_{n-1}=i_{n-1})} \\ & = & P(X_0=i_0,\ldots,X_{n-1}=i_{n-1})\cdot P(X_n=i_n\;|X_0=i_0,\ldots,X_{n-1}=i_{n-1}) \\ & = & P(X_0=i_0,\ldots,X_{n-1}=i_{n-1})\cdot p_{i_{n-1},i_n} \\ & = & \ldots \\ & = & P(X_0=i_0)\cdot p_{i_0,i_1}\cdot p_{i_1,i_2}\cdot \ldots \cdot p_{i_{n-1},i_n} \end{eqnarray} }$
が成り立つ。(1)式より、マルコフ連鎖は $X_0$ 分布(初期分布)と推移行列 $\{p_{i,j}\}$ により定まることが分かる。

※マルコフ連鎖(上)推移行列(下)[確認]
${ {\small \begin{equation} P(X_{n+1} = j \; | X_0=j_0,X_1=j_1,\ldots,X_{n-1}=j_{n-1},X_n=i)=P(X_{n+1}=j\;|X_n=i) \\ p_{i,j} = P(X_{n+1}=j|X_n=i) \;\;\; (i,j \in S) \end{equation}} }$

定義

$p_{i,j^{(n)}}=P(X_n=j|X_0=i)$ を $n$ 次の推移確率 $p_{i,j^{(n)}}$ を要素とする行列、

${ \begin{equation} P^{(n)}=\{p_{i,j}^{(n)}\}_{i,j \in S} \end{equation} }$

をn次の推移行列という。

マルコフ連鎖の式は $n,m > 0$ に対して
${ \begin{equation} P(X_0=i_0,X_1=i_1,\ldots,X_{n+m}=i_{n+m}) = P(X_0=i_0)\cdot p_{i_0,i_1}\cdot p_{i_1,i_2}\cdot \ldots \cdot p_{i_{n-1},i_n} \end{equation} }$
である。この両辺を $i_0,i_n,i_{n+m}$ を除いた全ての $i_j$ について和を取ると

${ \begin{eqnarray} & & P(X_0=i_0,X_n=i_n,X_{n+m}=i_{n+m}) \\ & = & \sum_{i_i,\ldots,i_{n-1}} P(X_0=i_0)p_{i_0,i_1}\ldots p_{i_{n-1},i_n} \sum_{i_{n+1},\ldots,i_{n+m-1}} p_{i_n,i_{n+1}}\ldots p_{i_{n+m-1},i_{n+m}} \\ & = & P(X_0=i_0,X_{n}=i_n)P(X_{n+m}=i_{n+m} | X_n=i_n) \end{eqnarray} }$

である。ここで両辺を $P(X_0=i_0,X_n=i_n)$ で割ると

${ \begin{equation} P(X_{n+m}=i_{n+m} | X_0=i_0,X_n=i_n) = P(X_{n+m}=i_{n+m} | X_n=i_n) \end{equation} }$

を得る。これはマルコフ連鎖の式の別表現である。

補題 (チャップマン・コルモゴロフの公式)

任意の整数 $m,n \ge 0$ と $i,j \in S$ に対して
${ \begin{equation} p_{i,j}^{(n+m)}=\sum_{k \in S} p_{i,k}^{(n)} p_{k,j}^{(m)} \;\;\;\;\; (※) \end{equation} }$
が成り立つ。

証明

$\cup_{k\in S} \{X_n=k\}=\Omega$ であるから
${ \begin{eqnarray} p_{i,j}^{(n+m)} & = & P(X_{n+m}=j|X_0=i) \\ & = & \sum_{k\in S} P(X_{n+m}=j,X_n=i_k|X_0=i) \\ & = & \sum_{k\in S} P(X_{n+m}=j|X_n=k,X_0=i)P(X_n=k|X_0=i) \\ & = & \sum_{k\in S} P(X_{x+m}=j|X_n=k)P(X_n=k|X_0=i) \\ & = & \sum_{k\in S} p_{k,j}^{(m)}p_{i,k}^{(n)} \\ & = & \sum_{k\in S} p_{i,k}^{(n)}p_{k,j}^{(m)} \;\;\;\; \Box \end{eqnarray} }$