策略梯度方差缩减：动作依赖因子化基线方法

OpenAI 提出了一种新的策略梯度方差缩减方法，通过引入动作依赖的因子化基线（Action-Dependent Factorized Baselines），有效降低了策略梯度估计的方差。该方法将基线分解为状态依赖和动作依赖两部分，利用动作依赖信息进一步减少梯度估计的噪声，从而提升强化学习算法的样本效率和稳定性。实验表明，在多个连续控制任务中，该方法相比传统基线方法取得了更快的收敛速度和更好的最终性能。