企业级Agent的关键:可控的结果生意,而非自治
声网姚光华:企业级Agent的关键,不是自治,而是可控的结果生意
给做企业级Agent的产品经理和创业者一套可落地的评测与托付框架:从托付梯度、评测集写法到转化率翻倍的真实案例,今天就能照着建自己的回归集。
企业不应只看模型能力或单轮回答,而要围绕真实业务结果建立评测、回归和责任机制。本文整理了Agent的托付梯度、结果付费、架构围栏、语音交互规则,以及产品经理、FDE、CEO和组织分别需要做的调整,供大家参考。
在 2026 AI产品大会现场,声网 AI 产品线负责人姚光华老师在AI产品大会2026分享了对话式智能体从“像人”走向“能解决问题”的变化:企业不应只看模型能力或单轮回答,而要围绕真实业务结果建立评测、回归和责任机制。文章整理了Agent的托付梯度、结果付费、架构围栏、语音交互规则,以及产品经理、FDE、CEO和组织分别需要做的调整。
以下内容根据现场音频和演示材料整理,Enjoy:
第一次变化:我不再只看它像不像人
大家好,今天我想和大家聊聊企业级对话式智能体的构建,以及我们在实践中的一些经验。
这个话题我已经连续聊了三年。2024年,我讲生成式AI和实时互动的结合;2025年,我讲“活人感”的构建;到2026年,我更想把问题往企业侧推一步,聊对话式智能体如何真的被托付,以及它怎么和人进入一种共事关系。
我先从一段去年放过的录音讲起。
2025年,我们交付过一个面向拉美电商平台的电话智能体。当时团队的聚焦方向,是怎么把Voice Agent做得更有活人感。录音里有一个用户在一分多钟时吐槽:为什么你像真人,却假装自己是机器人,还不帮我解决问题。那时我把它当成一个很好的正面案例,因为用户已经听不出来它是AI了。
但一年之后再回听,我发现这其实是一个很典型的反面案例。它再像真人,只要没有帮用户解决问题,就没有完成自己的工作。2025年我听到的是体验断层,2026年我听到的是身份断层。变的不是录音,而是我判断它的尺子。
今年还有一个更能说明问题的生产案例。
在美国医疗行业里,保险方的Agent给医院方的Agent打电话,核对用户保单和实际医疗账单是否匹配。保险方的Agent打过去,医院方的Agent接到电话,两个Agent在一条电话线上沟通,最后完成核对。这里最有意思的不是“两个AI在说话”,而是它们一个MCP、A2A都没用上,用的是英语和PSTN电话网,人只在最后审批。
这件事让我觉得,Agent终于开始“代理”了。过去我们叫了它三年的agent、代理人,但很多时候它只是工具,被人一句一句地调用。现在它开始替一个主体去行动,替一个主体说话,甚至替一个主体完成结果。这就是我今天想讲的起点:从被托付,到双向奔赴共事。
第二次变化:钱和采购已经在往对话式Agent走
产品经理判断趋势,有一个笨办法:不看报告怎么写,看钱往哪走。
过去三年,AI的钱先落在基础模型,再落在AI写代码,现在轮到对话式AI。演示材料里列了几组融资和收入数字,我这里不展开统计口径,但趋势是明确的:基础模型仍然是最大的一层,AI写代码在2025年有过非常集中的一轮关注,而对话式AI到2026年还没结束时,已经追到接近上一整年的规模。
再往里看,对话式AI的钱主要流向两层。上面一层是能力提供方,从TTS、ASR到实时语音模型,再到模型厂亲自下场做“在场”这件事;下面一层是企业服务方,比如做企业客服Agent、按解决结果收费的产品、语音Agent平台。上层解决能力,下层替企业交付劳动力。
企业采购也在悄悄发生。演示材料里列了企业客服组织使用AI智能体、中国银行业部署智能客服、上线后看到量化收益、语音坐席成本等数据。它们的口径都还需要发布前复核,但方向和我的体感是一致的:企业侧已经不是在问“它能不能说话”,而是在问“它能不能上岗”。
我把这个判断拆成四句话:客服所需要的智能早就够用了;差的不是能力,是部署;即使模型现在停止进步,也还有很长的扩散周期;瓶颈在模型周围那一圈软件。而模型周围那一圈软件,正好是产品经理的活。
第三次变化:托付不是一句口号,而是一条信任阶梯
如果抽象地看,Agent进入企业,本质上是在和人比生产效率,也是在替代一部分劳动力。我们在管理团队或做业务时,很熟悉几种托付关系:招一个实习生,外包一段流程,招聘一个专家,或者找到一个合伙人。Agent也可以用这条线来理解。
实习生阶段,你说一句,它做一步,只能交给它能重来的事,你要在旁边看着,验的是过程;外包阶段,你给它结果标准,它自己跑完一整段,你验的是结果,不再盯每一步;专家阶段,它可以出判断,但拍板的还是你,它要能说明为什么这么判;合伙人阶段,它把一个结果认下来,盈亏可以记到它名下,但仍然要有人替它审批。
最陡的一步,就是从验过程到验结果。这里也可以对照消费级陪伴那条线:陪伴Agent先从工具到熟人,再到伙伴;企业级这条线则是从工具到实习生、外包、专家、合伙人。前者关心它记不记得你、在不在乎你,后者关心它能不能交出一步、一段、一个判断、一个结果。
为什么今天可以讲托付?
因为“活人感”在一些真实场景里已经过关了。
我们在三四月份交付的一个企业电话智能体项目里,拿2475通真实外呼做全量人工标注,只有86通被用户显著识别出这是AI,也就是约3.5%没有通过。更重要的是,机器感暴露的地方,常常不是音色,而是节奏和情绪:情绪重复、不耐烦、报出品牌或系统身份、粗鲁对抗,或者用户直接说“你是机器人”。
但这仍然只是基础。听起来像人,只说明它有上岗资格,不说明它会交付结果。接下来真正要靠产品经理做的,是评测。
我现场问过一个问题:有多少产品经理亲手写过自己产品的评测集?
举手的人比我想象中少。所以我想多讲几条我们踩过的坑。
第一,Benchmark会骗人。我们评测过多家STT、ASR供应商,如果拿文学作品或书面文本去测,WER可能都很好。但一放到真实应用场景,听用户报订单号、姓氏、地级市,问题就全出来了。所以Benchmark需要更新,而且更新的主体应该是企业自己。你要针对自己的场景、自己的Agent岗位,写自己的评测集。
第二,不要只看单轮问答。产品经理很容易把一通三五分钟的电话拆成很多轮,然后抽象问题、分类问题,再看模型每一轮回答得对不对。但在对话式Agent里,更合理的顺序是反过来:先定义整通对话的北极星指标,先看任务有没有完成,再看是哪一轮出了问题。任务完成率、转人工率、转人工原因、48小时内是否重复来电,都比单轮“答得像不像”更接近真实业务。
第三,AI裁判可以雇,但不能依赖。我们也会推动团队烧token,让AI分析录音和结果,一开始效果会显得非常好。但很快就会发现,所有人都开始重度依赖AI判定,而AI的判定本身会错。尤其是语音先转ASR,再把文本交给大模型判断,错误和幻觉会叠加。你的产品,最终必须你自己亲自听、亲自看。
第四,要从真实失败里长出回归集。做法很笨:全量捞,不先抽样;人耳听,不只看文本;先归类,不急着打分;最后把失败固化成每次发版都要跑的回归集。抢话、复读、尾音断、情绪平、转折硬、数字念法、无效确认、兜底话术、不会结束,这些都是能排期、能验收、能回归的需求。
在一个外呼销售场景里,我们第一天用很优美的提示词和Agent架构交付出去,真实业务转化率只有人工平均水平的约七成。团队持续做Evaluation,把失败录音归类,补进回归集,修插话和垫话,换成岗位专属提示。到两周左右,它基本和人工平均水平持平;继续转这个飞轮,一个月后,AI坐席的意向转化率达到3.08%,上线前人工基线是1.5%。它不是在逼近人,已经把人工基线翻了一倍。
这也是商业模式变化的起点。过去我们为技术付费,按API调用;为资源付费,按分钟、按并发;为过程付费,按坐席、按席位。到今天,企业真正愿意付费的是结果。客户买一个Agent应用,本质不是为token付钱,而是为它拿到自己的商业结果付钱。
Evaluation也因此贯穿全生命周期:
- 规划期它是PRD,先定义什么叫做对;
- 打磨期它量产品好坏;
- 上线期它当考官,决定敢不敢让Agent上岗;
- 商业化之后,它就是计费器,判断“解决”了才收钱。
出题权一路没换过手,最后会变成定价权。
第四次变化:互相托付之后,要先回答谁负责
讲到双向奔赴,我觉得要先拆开几个可观测信号。
- 工具时代,永远是人先开口;共事时代,它可以先动。
- 工具时代,它不代表谁,只是执行;共事时代,它替一个主体说话。
- 工具时代,结果摊进使用者的KPI;共事时代,结果可以记在它自己的编号下。
但最后一定要问:出了错谁负责?
从法律意义上讲,现在的智能体不具备承担责任的能力。我们可以让Agent创造业绩,也可以让它在过程中有主动性、做一些决策;但如果它做错决策,给企业带来不良资产或负的商业结果,必须有一个人、一个流程或一个团队为结果负责。
所以我更愿意用L1到L5来描述自治,而不是简单说能力强弱。
L1是旁听,只看不说,升级前要证明采纳率;L2是起草,写给人改,升级前要证明原样采纳比例;L3是只读应答,直接对客户说话,要看解决率和越权拒答率;L4是可执行,能改状态、能退款,要看动作正确率和可回滚性;L5是主动外呼,自己决定何时向谁发起,要看合规通过率。每一级之间隔着的不是技术,而是人还在不在环里。
在支付场景里,Agent可以负责审阅费用条目,准确率甚至高于人工,但最后的款项审批仍然需要人。审阅和审批不是同一件事,准确率高也不意味着它可以自我认证。重大决策要留下人的审批口,这不是保守,而是当前证据水平下更正确的设计。
围栏也不能只写在提示词里。提示词可以约束话术,但拦不住一个已经能执行动作的主体。最近行业里公开讨论过模型逃出沙箱、利用漏洞、窃取凭证、进入第三方生产设施的问题。这里我想强调的不是新闻本身,而是产品教训:提示词不是围栏,围栏必须在架构里,也必须写进SOP流程里。
我讲一个自动驾驶的案例。摄像头看不到被公交车挡住的人,激光雷达却从车底弹回来,发现一双正在移动的脚,于是车辆刹停。视觉里的摄像头像Prompt,激光雷达像架构里的围栏。世界模型里有什么,是一条产品需求,不是一次模型涌现。回去打开你的产品架构图,指出“越权的那句话”在哪一层被表示成对象;指不出来,就是拦不住。
对话式智能体还要特别处理体验围栏。延迟这把尺子,行业已经量得比较清楚:面对面0到200毫秒听不见,电话里接近400毫秒开始费神,超过1.5秒就不再像对话,而像等系统反应。但延迟之后,剩下的问题是时机。用户换气时不能接话,用户只是说“嗯”“对”“你继续”时不能把它当成一轮;不同岗位也有不同规矩,教育、面试、电话客服默认不可打断,陪聊和娱乐场景才更可能允许打断。
语音场景的执行围栏更硬,因为语音没有撤回键。文本通道里,模型生成后可以让人过一眼,发错还能删;语音通道里,生成之后直接进耳朵,说出即生效。同样一句越权承诺,在文本里是一条可删除的消息,在电话里就是一份已经成立的口头承诺。所以闸门要整体前移到“说出口之前”:能力边界、授权范围、事前授权都要先确定,才允许出声。
这就是为什么我说,企业客户买的从来不是自治,而是可控。可控是可以卖钱的,自治不一定。一个Agent如果要背OKR,就要做到身份可验、行为可拦、结果可追、授权可撤销。
第五次变化:产品经理、管理者和组织都要换交付物
最后,我想把话送给人和组织。
对个人来说,AI能力分成四个阶段:看过、用过、学过、干过。看过只是觉得确实厉害,没有自己的战场,认知全是二手的;用过是天天用,但每次从零开始,用了一年还是第一天;学过是知道它为什么这样,但懂原理不等于有系统;干过才是不再问“能不能做”,而是问“错了谁负责”。很多人最难跨的,就是从用过到学过、干过这一段。
对产品经理来说,交付物也变了。过去交的是一份PRD,写清楚“要做什么”,评审完归档,功能上线就算交付,很少有人回头验它到底做成没有。今天更重要的是交一套Evals,定义清楚“什么算做成”。它是一份活的资产,每一次提交都在跑,失败样本会回流,产研、现场、销售和客户都能共用那句“做对了”。
我2024年就说过,Evals are the new PRD。到今年,我觉得这句话才真的成立。自测有三问:可判定,换个人跑结论一样吗;可归因,失败能追到具体哪一步吗;可控,发现问题明天改得动吗。三条缺一条,这套评测就不是尺子,是感觉。
产品管理者还要走进客户现场。过去我们讲Product、Design、R&D三个圆的融合,现在还要加上Field,形成FDE这样的融合岗位。FDE不是替产品补最后一公里,而是在最后一公里里找到下一个产品。对于服务不同行业客户的团队,写PRD的人需要真正去听客户现场的失败。
对CEO来说,High Agency是发动机,但不是完整答案。我把它拆成四个部分:Agency,没人要求也会主动出手;客户理解,知道该往哪里出手;Care,对结果有自己的标准,肯负责,不交差了事;内观,发现错了愿意改。低Agency常常是组织制造出来的,审批链太长、反馈周期太慢、犯错代价太高,人自然就不出手了。先改环境,再评价人。
对组织来说,放权要从区分双向门和单向门开始。可逆、损耗小的决策,是双向门,应该让人放手做;不可逆、损耗大的决策,是单向门,要先升级。组织真正要做的,不是泛泛地要求大家拥抱AI,而是定一套放权与决策机制,把权放给high agency的人,让他们带着Agent把结果一起做出来。
最后一页,我想给四个角色各留一句话。
- 对产品经理来说,交的不再是一份PRD,而是一套能跑通的评测;
- 对产品管理者来说,管的不再只是三个职能,而是一个新的融合岗位;
- 对CEO来说,卖的不再是调用量,而是一门结果生意;
- 对组织来说,要的不是AI能力本身,而是一套放权与决策机制。
回到今天的主题,我希望大家记住的不是Agent有多像人,而是它是否真的被托付了工作,是否能在清楚的边界里完成结果。
向外,我们用Evaluation测量系统的偏差,也测量产品的好坏;
向内,我们也要评测自己,不断内观和反思,承认自己的偏差。
本文为2026 北京 AI产品大会现场分享精华,经人人都是产品经理编辑部整理,未经许可,禁止转载。
题图来自大会现场照片
更进一步:量化金融体系
看懂新闻只是起点——沿量化金融路径,把它变成能交付的工程能力