CMU AI Agents课程第12讲：强化学习系统实战与踩坑

CMU 秋季最新课程 11-768: AI Agents 主讲：@dan_fried @gneubig

第 12 讲「Reinforcement Learning Systems」讲义和视频已公开

这一讲从强化学习系统的框架开始讲起、再到推理侧和训练侧的分别优化、训练-推理交互、Agentic RL 的实战踩坑经验、RL 框架设计等，完整系统了讲述了强化学习系统的理论和实战。

讲义：https://www.cmu-agents.com/slides/lecture-12-rl-systems.pdf 视频：https://www.youtube.com/watch?v=dwR6NP9nI-8

在课程中看到几个最核心的观点： 1. RL 框架的本质是两种异质负载（训练和推理）的耦合，而非一套统一计算图 2. “前缀复用”是贯穿 agentic RL 系统效率的不变量 3. Token-In-Token-Out：一个微小设计错误曾造成全行业的训练不稳定 4. 权重同步与 R3：双引擎之间的隐藏成本 5. 架构演进终点：一切皆服务 + 在线 RL