10.3:引理10.1的证明
由于策略是确定性的，有
\[v_\mu(s)=q_\mu(s,\mu(s)).\]
因为\(q_\mu\)和\(\mu\)都是\(\theta\)的函数，所以
\[\nabla_\theta v_\mu(s)
=\nabla_\theta q_\mu(s,\mu(s))
=\nabla_\theta q_\mu(s,a)|_{a=\mu(s)}
+\nabla_\theta\mu(s)\nabla_aq_\mu(s,a)|_{a=\mu(s)}.\tag{10.17}\]
根据行动值定义，对任意给定的\((s,a)\)，有
\[q_\mu(s,a)=r(s,a)+\gamma\sum_{s'\in\mathcal{S}}p(s'|s,a)v_\mu(s'),\]
其中\(r(s,a)=\sum_r rp(r|s,a)\)。由于\(r(s,a)\)与\(\mu\)无关，
\[\nabla_\theta q_\mu(s,a)=\gamma\sum_{s'\in\mathcal{S}}p(s'|s,a)\nabla_\theta v_\mu(s').\]
将其代入式\((10.17)\)可得
\[\nabla_\theta v_\mu(s)
=\gamma\sum_{s'\in\mathcal{S}}p(s'|s,\mu(s))\nabla_\theta v_\mu(s')
+\underbrace{\nabla_\theta\mu(s)\nabla_aq_\mu(s,a)|_{a=\mu(s)}}_{u(s)}.\]
由于上式对所有\(s\in\mathcal{S}\)都成立，因此可以写成矩阵-向量形式：
\[\nabla_\theta v_\mu=u+\gamma(P_\mu\otimes I_m)\nabla_\theta v_\mu,\]
其中\(n=|\mathcal{S}|\)，\(m\)为\(\theta\)的维度，\(P_\mu\)为确定性策略\(\mu\)下的状态转移矩阵，满足
\[[P_\mu]_{ss'}=p(s'|s,\mu(s)).\]
解该线性方程可得
\[\begin{aligned}
\nabla_\theta v_\mu
&=(I_{mn}-\gamma P_\mu\otimes I_m)^{-1}u\\
&=[(I_n-\gamma P_\mu)^{-1}\otimes I_m]u.
\end{aligned}\tag{10.18}\]
其逐元素形式为
\[\begin{aligned}
\nabla_\theta v_\mu(s)
&=\sum_{s'\in\mathcal{S}}[(I-\gamma P_\mu)^{-1}]_{ss'}u(s')\\
&=\sum_{s'\in\mathcal{S}}[(I-\gamma P_\mu)^{-1}]_{ss'}
\left[\nabla_\theta\mu(s')\nabla_aq_\mu(s',a)|_{a=\mu(s')}\right].
\end{aligned}\tag{10.19}\]
由于
\[ (I-\gamma P_\mu)^{-1}=I+\gamma P_\mu+\gamma^2P_\mu^2+\cdots,\]
所以
\[[(I-\gamma P_\mu)^{-1}]_{ss'}=\sum_{k=0}^{\infty}\gamma^k[P_\mu^k]_{ss'}.\]
其中\([P_\mu^k]_{ss'}\)表示从\(s\)恰好经过\(k\)步转移到\(s'\)的概率。因此，\([(I-\gamma P_\mu)^{-1}]_{ss'}\)表示从\(s\)出发以任意步数转移到\(s'\)的折扣总概率。