10.1:最优baseline的证明
令
\[\bar{x}\doteq\mathbb{E}[X],\]
它对任意\(b(s)\)都是不变的。如果\(X\)是向量，那么它的方差是一个矩阵。通常可以选择\(\mathrm{var}(X)\)的迹作为标量目标函数进行优化：
\[\begin{aligned}
\mathrm{tr}[\mathrm{var}(X)]
&=\mathrm{tr}\mathbb{E}[(X-\bar{x})(X-\bar{x})^T]\\
&=\mathrm{tr}\mathbb{E}[XX^T-\bar{x}X^T-X\bar{x}^T+\bar{x}\bar{x}^T]\\
&=\mathbb{E}[X^TX-X^T\bar{x}-\bar{x}^TX+\bar{x}^T\bar{x}]\\
&=\mathbb{E}[X^TX]-\bar{x}^T\bar{x}.
\end{aligned}\tag{10.6}\]
推导中使用了迹的性质：对任意维度合适的方阵\(A,B\)，有\(\mathrm{tr}(AB)=\mathrm{tr}(BA)\)。由于\(\bar{x}\)不随\(b(s)\)变化，式\((10.6)\)说明我们只需要最小化\(\mathbb{E}[X^TX]\)。
由式\((10.4)\)中\(X\)的定义，有
\[\begin{aligned}
\mathbb{E}[X^TX]
&=\mathbb{E}\left[(\nabla_\theta\ln\pi)^T(\nabla_\theta\ln\pi)(q_\pi(S,A)-b(S))^2\right]\\
&=\mathbb{E}\left[\|\nabla_\theta\ln\pi\|^2(q_\pi(S,A)-b(S))^2\right],
\end{aligned}\]
其中为了简洁，将\(\pi(A|S,\theta)\)记为\(\pi\)。
由于\(S\sim\eta\)，\(A\sim\pi\)，上式可写成
\[\mathbb{E}[X^TX]
=\sum_{s\in\mathcal{S}}\eta(s)\mathbb{E}_{A\sim\pi}\left[\|\nabla_\theta\ln\pi\|^2(q_\pi(s,A)-b(s))^2\right].\]
为了使
\[\nabla_b\mathbb{E}[X^TX]=0,\]
对任意\(s\in\mathcal{S}\)，\(b(s)\)应满足
\[\mathbb{E}_{A\sim\pi}\left[\|\nabla_\theta\ln\pi\|^2(b(s)-q_\pi(s,A))\right]=0.\]
解这个方程即可得到最优baseline：
\[b^*(s)=\frac{\mathbb{E}_{A\sim\pi}[\|\nabla_\theta\ln\pi\|^2q_\pi(s,A)]}{\mathbb{E}_{A\sim\pi}[\|\nabla_\theta\ln\pi\|^2]},\quad s\in\mathcal{S}.\]
更多关于策略梯度中最优baseline的讨论可参见文献[69,70]。