RLOO方法：将强化学习重新引入RLHF

Hugging Face 博客介绍了 RLOO（Reinforcement Learning from Online Observations）方法，旨在改进 RLHF（基于人类反馈的强化学习）流程。传统 RLHF 使用 PPO 算法，但存在训练不稳定、计算开销大等问题。RLOO 通过在线采样和更直接的奖励优化，简化了训练过程，提高了样本效率。该方法在多个基准测试中表现优于 PPO，尤其适用于大语言模型的偏好对齐。博客提供了技术细节和开源实现，便于研究者复现。