離散時間型マルコフ連鎖 - 統計・確率のお勉強

マルコフ連鎖

$P$ を確率測度とし、 $\{X_n\}_{n=1}^{\infty}$ を有限または可算の集合 $S$ を状態空間に持つ離散形確率過程とする。

※確率過程(Wikipedia参照)

確率論において、確率過程（かくりつかてい、英語: stochastic process）は、時間とともに変化する確率変数のことであり、株価や為替の変動、ブラウン運動などの粒子のランダムな運動を数学的に記述するモデルとして利用される。不規則過程（英語: random process）とも言う

確率過程(Wikipedia)

※状態空間・・・確率過程が各時刻で取る値の集合

定義

$\{X_n\}_{n=0}^{+\infty}$ が任意の $n$ と任意の $j_0,j_1,\ldots,j_{n-1},i,j \in S$ に対して、

${ \begin{equation} (1) \;\; P(X_{n+1} = j \; | X_0=j_0,X_1=j_1,\ldots,X_{n-1}=j_{n-1},X_n=i)=P(X_{n+1}=j\;|X_n=i) \end{equation} }$

を満たすとき、 $\{X_n\}$ を離散時間型マルコフ連鎖または単にマルコフ連鎖と呼ぶ。更に上式の右辺が $n$ に依存しないならば、定常な推移を持つという。また(1)式は次のように表すこともできる。

${ \begin{equation} (1)' \;\; P(X_{n+1} = j \; | X_0,X_1,\ldots,X_n) = P(X_{n+1} = j | X_n) \end{equation} }$

これらの式は次の時刻における状態は、現在の状態によってのみ決まり、過去によらないことを示している。このことをマルコフ性と呼ぶ。マルコフ連鎖が定常な推移を持つならば、状態の変化は出発点の時刻に依存しない。

定常な推移について言い換え

マルコフ連鎖が定常な推移を持つとは $i,j \in S$ に対して
${ \begin{equation} p_{i,j}=P(X_{n+1} = j \; | X_n = i ) \end{equation} }$
を満たす $p_{i,j}$ が存在するとき。 $\{X_n\}$
は定常な推移を持つという。

マルコフ連鎖の例

状態空間 $S = \{A,B,C\}$
を用意します。1秒ごとにAからBへ1/3の確率で、AからCへ1/3の確率で、
AからAに1/3,BからBに1/3,BからAに2/3,CからBに1/3,CからCに2/3の
確率で状態がうつるとする。この時推移図は以下のようになっている。

f:id:doratai:20160123202419p:plain

この時、推移行列は次で与えられる。
${ P = \left( \begin{array}{ccc} 1/3 & 1/3 & 1/3 \\ 2/3 & 1/3 & 0 \\ 0 & 1/3 & 2/3 \end{array} \right) }$
大学受験で確率をやった人は上のような図を書いたことがある人もいると思います。
この確率過程は $n$ の値によっていないことがわかります。
例えば時間 $n$ の時に状態Bであった時、次の時間 $n+1$ の時に状態A
である確率は次のようにかけます。
${ \begin{equation} P(X_{n+1} = A\;| X_n = B ) = \frac{2}{3}\cdot P(X_n=B) \end{equation} }$
次の状態は現在の状態にのみ依存していることがわかりますね。
故にこの確率過程はマルコフ性を持っています。また、
BからAに推移する確率は $n$ の値に関わらず 2/3 です。他の場合も同様であり
これは「定常な推移を持つ」と言えます。