4.9 马尔科夫链中的应用
本节中描述的马尔科夫链，在许多学科如生物学、商业、化学、工程学及物理学等领域中被用来做数学模型。在每种情形中，该模型习惯上用来描述用同一种方法进行多次的实验或测量，实验中每次测试的结果属于几个指定的可能结果之一，每次测试结果仅依赖于最近的前一次测试。
一个具有非负分量且个分量的数值相加等于1的向量称为概率向量;随机矩阵是各列向量均为概率向量的方阵；马尔科夫链是一个概率向量序列x_0,x_1,x_2,\dots和一个随机矩阵P,使得
x_1=Px_0,x_2=Px_1,x_3=Px_2,\dots
于是马尔科夫链可用一阶差分方程来刻画：
x_{k+1}=Px_k,k=0,1,2,\dots
当向量在R^n中的一个马尔科夫链描述一个系统或实现的序列时，x_k中的数值分别列出系统在n个可能状态中的概率，或实验结果是n个可能结果之一的概率。因此，x_k通常称为状态向量。
稳态向量
若P是一个随机矩阵，则相对于P的稳态向量（或平衡向量）是一个满足
“`math
Pq=q
“`
的概率向量q。可以证明每一个随机矩阵有一个稳态向量。
我们说一个随机矩阵是正则的，如果矩阵的某次幂P^k仅包含正的数值。
另外，我们说一个向量序列\{x_k:k=1,2,\dots\}当k \rightarrow \infty时，收敛到一个向量q,如果当k充分大时，x_k中的数值无限接近q中对应的数值。
定理18 若P是一个nxn的正则随机矩阵，则P具有唯一的稳态向量q。进一步，若x_0是任一个起始状态，且x_{k+1}=Px_k,k=0,1,2,\dots,则当k \rightarrow \infty时，马尔科夫链\{x_k\}收敛到q。