8.1:马尔科夫决策过程的稳态分布

分析稳态分布的关键工具是\(P_\pi\in\mathbb{R}^{n\times n}\)，即给定策略\(\pi\)下的状态转移概率矩阵。如果状态被编号为\(s_1,\ldots,s_n\)，那么\([P_\pi]_{ij}\)表示智能体从\(s_i\)转移到\(s_j\)的概率。

首先考察\(P_\pi^k\)的含义。记智能体恰好经过\(k\)步从\(s_i\)转移到\(s_j\)的概率为

\[p_{ij}^{(k)}=\Pr(S_{t_k}=j|S_{t_0}=i).\]

根据\(P_\pi\)的定义，有

\[[P_\pi]_{ij}=p_{ij}^{(1)},\]

即\([P_\pi]_{ij}\)表示一步转移概率。对于\(P_\pi^2\)，有

\[[P_\pi^2]_{ij}=[P_\pi P_\pi]_{ij}=\sum_{q=1}^{n}[P_\pi]_{iq}[P_\pi]_{qj}.\]

其中\([P_\pi]_{iq}[P_\pi]_{qj}\)表示先从\(s_i\)转移到\(s_q\)，再从\(s_q\)转移到\(s_j\)的联合概率。因此\([P_\pi^2]_{ij}\)表示恰好两步从\(s_i\)转移到\(s_j\)的概率，即

\[[P_\pi^2]_{ij}=p_{ij}^{(2)}.\]

类似地，

\[[P_\pi^k]_{ij}=p_{ij}^{(k)},\]

表示恰好\(k\)步从\(s_i\)转移到\(s_j\)的概率。

下面定义稳态分布。令\(d_0\in\mathbb{R}^n\)表示初始时刻的状态概率分布。例如，如果总是从状态\(s\)开始，那么\(d_0(s)=1\)，其他元素为\(0\)。令\(d_k\in\mathbb{R}^n\)表示从\(d_0\)出发恰好经过\(k\)步后的状态概率分布，则

\[d_k(s_i)=\sum_{j=1}^{n}d_0(s_j)[P_\pi^k]_{ji},\quad i=1,2,\ldots.\tag{8.6}\]

其矩阵-向量形式为

\[d_k^T=d_0^TP_\pi^k.\tag{8.7}\]

当我们研究马尔科夫过程的长期行为时，在一定条件下有

\[\lim_{k\to\infty}P_\pi^k=\mathbf{1}_n d_\pi^T,\tag{8.8}\]

其中\(\mathbf{1}_n=[1,\ldots,1]^T\in\mathbb{R}^n\)，而\(\mathbf{1}_n d_\pi^T\)是一个每一行都等于\(d_\pi^T\)的常矩阵。将式\((8.8)\)代入式\((8.7)\)可得

\[\lim_{k\to\infty}d_k^T=d_0^T\lim_{k\to\infty}P_\pi^k=d_0^T\mathbf{1}_n d_\pi^T=d_\pi^T.\tag{8.9}\]

这说明：当时间足够长时，状态分布会收敛到\(d_\pi\)，并且该极限与初始分布\(d_0\)无关。这个\(d_\pi\)就称为策略\(\pi\)下马尔科夫过程的稳态分布。

Note

直观理解是：\(P_\pi^k\)描述“走\(k\)步之后会到哪里”。如果\(k\)足够大后，每一行都趋近于同一个分布\(d_\pi^T\)，就说明无论从哪个状态出发，长期访问各个状态的概率都趋向同一个分布。

---

评论