10.4:定理10.3的证明
由于\(d_0\)与\(\mu\)无关，有
\[\nabla_\theta J(\theta)=\sum_{s\in\mathcal{S}}d_0(s)\nabla_\theta v_\mu(s).\]
将引理10.1中给出的\(\nabla_\theta v_\mu(s)\)表达式代入，可得
\[\begin{aligned}
\nabla_\theta J(\theta)
&=\sum_{s\in\mathcal{S}}d_0(s)\sum_{s'\in\mathcal{S}}\Pr_\mu(s'|s)
\nabla_\theta\mu(s')\nabla_aq_\mu(s',a)|_{a=\mu(s')}\\
&=\sum_{s'\in\mathcal{S}}\left[\sum_{s\in\mathcal{S}}d_0(s)\Pr_\mu(s'|s)\right]
\nabla_\theta\mu(s')\nabla_aq_\mu(s',a)|_{a=\mu(s')}\\
&\doteq \sum_{s'\in\mathcal{S}}\rho_\mu(s')\nabla_\theta\mu(s')\nabla_aq_\mu(s',a)|_{a=\mu(s')}\\
&=\sum_{s\in\mathcal{S}}\rho_\mu(s)\nabla_\theta\mu(s)\nabla_aq_\mu(s,a)|_{a=\mu(s)}\\
&=\mathbb{E}_{S\sim\rho_\mu}\left[\nabla_\theta\mu(S)\nabla_aq_\mu(S,a)|_{a=\mu(S)}\right].
\end{aligned}\]
证明完毕。这里考虑的是状态和行动均为有限集合的情况；若二者为连续空间，证明思路类似，只需将求和替换为积分。