HuggingFace开源智能体训练全流程：从SFT到环境RL的6讲实录

HuggingFace Training Agents 系列视频公开、代码开源

@huggingface 团队 @ben_burtenshaw 发起，6 个月、6 场直播，完成 SFT → 蒸馏 → GRPO → 环境 RL，基于一个 2B 模型的后训练全路线！

6 个视频 Youtube 地址 https://www.youtube.com/playlist?list=PLo2EIpI_JMQvQZm-kVlz4wY1vWF0LBcf5 开源项目 https://github.com/burtenshaw/training-agents

六讲 workshop 主线逻辑

第 1 讲：智能体评估（起点）。先讲“评估为什么难”：benchmark 分数与实际使用体验严重脱节。嘉宾阵容横跨学界与工业界（Princeton、MIT CSAIL、Meta、英国 AI 安全研究所、Bespoke Labs），奠定了整个系列的基调：先建立可信的度量，再谈训练。

第 2 讲：面向智能体的 RL（理论准备）。讲清楚从“RL for LLM”到“RL for agents”的关键差异：需要环境、需要 rollout、需要重新设计奖励，并且会遇到推理侧的瓶颈。

第 3 讲：SFT on agent traces（第一步）。把公开 coding agent 的轨迹转成 prompt/completion 数据，用 TRL + LoRA 在 Hugging Face Jobs 上微调，Trackio 看指标。诚实讨论了第一批评估数字能说明什么、不能说明什么——这一讲的元信息是“SFT 教会模型的是交互格式和基本行为，不是能力本身”。

第 4 讲：蒸馏。用 off-policy、on-policy 和 self-distillation 三种方式，把教师模型的能力迁移到更小的 coding agent。

第 5 讲：GRPO 强化学习。SFT 之后上 RL：组采样（group sampling）、可验证的奖励函数、如何读 reward/KL/length 曲线。最有价值的设计是做了三个实验，其中一个故意放了可被 game 的奖励，让学员亲眼看到 reward hacking 如何发生；这是评估意识的延续。

第 6 讲（收官）：从奖励函数到环境。概念上的关键跃迁：奖励不再是一个函数，而是智能体活动于其中的“场所”。实操路径是：从 Gym 的 reset()/step() 契约讲到 LLM 智能体，用 OpenEnv 构建环境并推上 Hub，接入 TRL 的 GRPOTrainer，最后通过 Harbor + AsyncGRPOTrainer 在 HF sandboxes 上训练了真实的 coding agent @opencode

开源项目里的方法论核心

开源项目里是一套可复用的训练操作系统，有三个值得记住的设计： 1. 四阶段挑战阶梯（challenge ladder）：SFT（学格式）→ GRPO（学从可验证奖励中学习）→ 带环境的 GRPO（学与有状态的世界交互）→ 自蒸馏（把验证过的成功轨迹回收为下一轮训练数据）。每一级都有晋级门槛：必须出现非零的奖励方差、held-out 任务上有真实提升，才能爬下一级；且训练任务必须与 Terminal-Bench 等评估基准严格隔离，防泄漏。

2. Looping RL（双层循环）：内层是常规 RL 循环（采样→打分→更新）；外层训练“研究系统本身”——每次实验要回答的是“这个 setup 是否真的度量了我们想要的行为”，而不是只看奖励涨没涨。文章给出了非常实用的故障启发式，比如：奖励方差为零 → 重新设计 prompt 分组；语法改善但成功率持平 → 数据要从语法级换成语义级；proxy 分数不动 → 不得宣称 benchmark 有进展。

3. 明确的总目标：训练一个约 2B 的开源模型，在 Terminal-Bench 上超过 40 分。所有阶段都服务于这个可度量的北极星，且只有 held-out 评估结果（而非训练奖励）才能让 checkpoint 进入发布状态。