10:21人人都是产品经理(RSS)
AgentLoop数据飞轮:Agent上线后持续调优的七步法
针对Agent上线后因用户问法发散、模型漂移导致的Prompt变质问题,本文提出基于AgentLoop的数据飞轮七步法,将调优从零散修补升级为系统工程。第一步接入真实Trace,利用OpenTelemetry探针串联用户提问到工具调用的全链路;第二步观测大盘,定位慢、贵、错的具体Span;第三步审计合规轨迹;第四步沉淀Badcase至数据集(区分Golden Set与Badcase Set);第五步构建Rubric评估体系,从结果正确性与过程合理性双维度打分,将隐性判断显性化;第六步通过实验回测验证改动显著性;第七步建立经验库,自动挖掘有效路径反哺上下文。落地建议先以人工闭环建立Rubric与数据集兜底,再开启经验库自动化增益,且每次注入需经消融实验验证。