Anthropic产品负责人：评测即PRD，拆解AI产品经理核心工作法

2023 年，Dianne Penn 加入 Anthropic 时，这家公司的产品团队只有五名工程师，整个 API 业务由一名工程师负责。当时，OpenAI 已经凭借 ChatGPT 和 GPT-4 建立起领先优势，Anthropic 还在寻找自己的产品定位。

三年之后，作为 Anthropic 首位技术产品经理、现任 AI Research 与 Labs 团队产品负责人，Dianne 参与了从 Claude 2 到 Fable 的模型发布，也深度介入 Claude Code、MCP、Skills、工具调用和推理能力等一系列产品与技术的孵化。她的职业路径同样特别：在进入 Anthropic 之前，她参与过亚马逊 Alexa AI 的建设，更早之前则是摩根大通的高收益债券交易员。

在这期 Lenny’s Podcast 访谈中，Dianne 回顾了 Anthropic 如何从一家只有五名产品工程师的初创公司，成长为前沿 AI 产品的重要定义者。她分享的重点不只是 Claude 如何变得更强，也包括另一组更具体的问题：模型能力如何转化为用户价值，AI 时代的产品经理究竟做什么，以及当构建本身越来越容易，人类真正的竞争力还剩下什么。

以下是她的主要观点：

1. 前沿模型必须通过前沿产品才能真正成立。Opus 4.5 的突破不仅来自模型能力提升，也来自 Claude Code 这样的产品载体。没有合适的产品，用户无法感受到前沿智能；没有足够强的模型，产品也无法完成真正复杂的任务。

2. 模型能力并不是线性显现的，评测是发现能力跃迁的关键。一个模型可能已经具备某项新能力，但开发者尚未意识到。持续评测的意义，不只是判断模型好坏，也是识别哪些能力已经出现、哪些产品机会已经成熟。

3. 评测就是新的 PRD。AI 产品经理不能只写需求文档，更要把模糊的用户反馈转化为可复现、可衡量的测试任务，让研究团队知道具体应该改进什么，并持续验证改进是否有效。

4. 用户说的问题，往往不是问题的真实面貌。早期用户普遍反馈 Claude “不擅长遵循指令”，深入分析后发现，大约 80% 的问题其实集中在无法正确输出 JSON。只有把抽象抱怨拆解到具体交互，模型训练才有明确方向。

5. PRD 不会消失，但它的作用正在改变。当问题足够清晰时，评测可以直接定义目标；当机会仍然模糊、需要协调产品、工程、安全和法务团队时，PRD 仍然是统一方向的重要工具。

6. AI 产品经理必须亲自动手，而且要深入到每一个 token。不了解模型真实表现、不亲自构建产品，就很难判断什么是好的 AI 体验。资深管理者同样需要直接使用模型、理解用户反馈，并参与实际交付。

7. 今天的产品，必须为未来更强的模型预留空间。Dianne 会经常问团队，如果 Claude 8.0 出现，用户行为会发生什么变化？今天设计的产品，是否还能与那个阶段的能力和体验保持兼容？

8. 安全与对齐不一定削弱模型，反而可能让它更有用。真正优秀的 AI 不应该只是顺从用户，还要知道什么时候提出异议、补充视角、主动纠正错误。能够帮助用户形成更好判断，才是模型个性和实用价值的结合点。

9. AI 不只能提高 IQ，也可以帮助提高 EQ。Dianne 会用 Claude 准备困难对话、复盘管理方式，甚至根据《关键对话》的方法创建专门的 Skill，让 AI 帮助自己更准确地表达、建立信任和支持团队。

10. 未来真正稀缺的是判断力、领域经验与独立观点。当 AI 可以生成越来越多方案，决定“应该做什么”“什么值得投入”“结果是否足够好”，反而更加依赖人类长期积累的经验和判断。

11. 组织协作能力，是前沿 AI 公司高速迭代的隐藏变量。Anthropic 的快速发布不仅来自技术突破，也来自低自我、自下而上的文化，以及研究、产品、工程团队之间形成的高度信任与协作。

走进Anthropic

Lenny：今天的嘉宾是Diane Penn，她是Anthropic AI研究与实验室团队的产品负责人。三年多前，她作为Anthropic的第一位技术产品经理加入公司——以AI领域的发展速度来看，这已经是非常漫长的一段时间了——当时产品团队只有五名工程师。从Claude 2到Fable，Anthropic的每一款模型都有她参与发布。她还参与孵化并推出了Claude Code、MCP、Skills和ClaudeDesign，以及计算机使用、工具使用和推理等核心能力。能够与一位身处AI和产品管理最核心位置的人交流，始终是一件令人愉快又极大拓展思维的事情。很难想象还有谁能比Anthropic研究与实验室团队的产品负责人更清楚未来的发展方向。接下来，有请Diane Penn。Diane，非常感谢你来到这里。欢迎来到本期播客。

Diane Penn：谢谢你，Lenny。很高兴再次见到你。

Lenny：我想回到Anthropic创立之初，也就是它的早期阶段。我记得Anthropic最初推出产品的时候，那是……我也不确定，应该是几年前推出第一款模型的时候，大概三年前之类的。我当时心里只是觉得，天啊，这些人根本没有机会。OpenAI已经领先太多了。他们到底在想什么？这怎么可能成功？OpenAI已经赢了。现在才入场已经太晚了。但如今的情况已经截然不同。我最近看到的一个数字是，Anthropic的年度经常性收入达到了……大概500亿美元。过去，公司往往会在达到这样的规模时上市。非常成功的公司才会以500亿美元的估值上市。据报道，Anthropic现在每年都能赚到这么多钱。

你是最早加入的一批产品经理之一。你加入时，公司大概只有五名工程师，甚至连模型都还没有发布。Anthropic的早期是什么样的？关于它刚刚起步时的情况，有什么事情可能会让人们感到意外？

Diane Penn：塑造了今天Anthropic的很多东西，其实从早期开始就一直处于公司的核心位置。我是在2023年加入的。就像你说的，当时我们有五名产品工程师。你可能难以相信，我们整个API业务只有一名工程师负责。其中一个很重要的部分是，我们的文化非常强大。每当遇到对这家公司感兴趣的人时，我都会特别强调这一点：公司确实在身体力行地践行自己的使命、文化和价值观。当时的氛围非常像一家初创公司。而且你说得没错，在最初几年里，我们确实一直在努力寻找自己的身份定位。

一方面是技术本身，但另一方面，这项技术如何为用户创造价值、如何为社会创造价值，以及它究竟可能成为什么？早期的那些年就是我们以不同方式探索这些问题的过程。我们最开始确实推出了Claude.ai，它就像另一个聊天机器人或聊天助手，之后又逐渐发展出工具使用之类的功能。我们真正开始找到自身节奏的一个时刻，是推出Golden Gate Claude之类的项目。我不知道你是否还记得它。实际上，这个项目只上线了大约24小时。

2024年初，我们刚刚发表了一项早期的可解释性研究。其中一个例子是，在模型的不同层中，实际上可以存在所谓的“特征”，这些特征会表达某些特定的主题。比如，研究人员识别出的一个主题是项目符号式写作，另一个是人物和地点。还有一个频繁出现并引起广泛共鸣的主题，就是金门大桥。所以，当你实质上把这个特征的强度调高之后，Claude就会对金门大桥产生执念。也就是说，在它的每一次回答中，它都会绕回来谈论金门大桥。比如，如果你说：“请给我一份制作意大利面的食谱。”它会回答：“这是一份食谱。”然后它还会说：“这种橙色就像金门大桥所呈现的国际橙一样。”所以它真的非常古怪。在那种情况下，我们非常希望把这种用户体验带给大众，带给那些刚刚开始使用Claude的人。因此，我们实际上在24小时内就在Claude.ai网站上搭建出了整个体验。这个过程需要工程、产品、设计和研究团队的所有人共同合作。我们对此感到非常、非常自豪。

老实说，它可能只触达了2,000人。但它让我们产生了一种感觉：哦，我们确实可以创造全新的用户体验，可以用一种与众不同且忠于自身特色的方式展示我们的研究成果。而且，我们能够以一种非常具有初创公司风格的速度做到这一点。对我来说，这也许是一个不为人知的转折点：我们开始找到自己的身份，意识到我们能够打造不同于竞争对手以及市面上已有产品的产品和体验。

显然，后来通过Labs、Claude Code等项目，我们开始形成自己的定位，也就是我们究竟如何看待这个世界、如何思考AI，以及如何让公众更加接近AI。但我们的文化是一种非常自下而上的文化，所以那整个体验也是自下而上形成的。我看到工程师和设计师主动投入自己的时间参与其中。因此，我总喜欢用这个例子来说明公司早期是什么样的。不过从早期至今，我们的文化和价值观在很大程度上始终没有改变。

从Opus 3.0到Opus 4.5

Lenny：回顾Anthropic从当时一家试图与OpenAI这个行业巨头竞争的实验室，发展成今天的样子，你认为还有哪些重大的转折时刻？有哪些时刻令你印象特别深刻，让你觉得：“哇，那件事真的改变了局面”？

Diane Penn：我们训练和测试Opus 3.0的时候绝对是其中一个。在那个时刻，公司应该仍然不到200人。当时非常明确的一点是，我们需要、也希望打造一款前沿模型。就我们触达用户和消费者，以及展示自身研究成果的能力而言，这一点非常重要。我们也在寻找一个问题的答案：人们为什么应该选择Claude？这是一个核心问题，也是早期经常有人问我们的核心问题。

我记得Opus 3.0是在2024年3月初发布的，但在此之前的许多个月里，推理、研究、微调和预训练等不同团队都在不同阶段集结起来，共同朝着同一个目标努力。每一位参与者都对此感到非常自豪。当时作为产品经理的我、其他产品经理以及研究负责人，大概是在12月，我们都待在各自父母的家中。从每个人的背景画面里，都能看到他们儿时的房间。大家都在非常努力地弄清楚：我们到底是为了什么而训练这个模型？它是否以正确的方式呈现出了应有的能力？因此，就建立深厚的信任而言，那段经历非常有力量。事实上，从那时起，我们的许多研究负责人如今已经开始领导强化学习、模型性格和对齐方面的工作。这种基础性的信任也帮助我们现在能够在所有生产模型上，实现产品团队与研究团队之间的良好合作，因为在早期，我们确实一起深入一线，进行了大量工作。

之后，还有一些时刻，比如我们意识到编程很重要。2023年我刚加入时，没有人会把Anthropic、Claude和编程放在同一句话里讨论。当时，GPT-4等竞争对手的模型在一定程度上被用于编程，但编程只是众多使用场景之一。而我当时观察到的一件事是，人们开始使用这些模型编写代码，不再只是用它们自动补全代码，而是真正让它们编写长篇代码。对于我们来说，这是一个可以通过训练让Opus 3.0做得更好的机会。从训练的角度来看，这最终只是一个相对较小的改动，但它帮助我们在早期的竞争中形成了差异化，吸引了用户，也真正带来了许多最早期的Claude爱好者和开发者，因为我们提供了一种他们当时并不认为模型能够实现的价值。

Lenny：你谈到Opus 3.0真的很有意思，因为那听起来已经是非常久以前的事情了。现在很难想象，它当时竟然是一个如此重大的转折点。因此，听你说它在公司内部是一个重要的里程碑，真的很有意思。这听起来几乎像是你们由此建立起了一种信心：“哇，我们真的能够发布一款前沿模型。”当然，如果把它与我们今天拥有的模型相比，它现在已经没有那么出色了。我总会想到Opus 4.5。有意思的是，那大约也是一年后的寒假期间，所有人都待在家里，有时间编程。那也是另一个重大里程碑吗？

Diane Penn：Opus 4.5绝对是另一个重要时刻。Opus 4.5的神奇之处在于，我们当时拥有的不再只是一个模型，还有一个载体，也就是像Claude Code这样出色的产品体验。我们团队经常说，只有拥有前沿产品，才能拥有前沿模型，也才能让人们感受到前沿模型的神奇之处。在那之前的许多个月里，我们已经感受到了Claude Code的神奇之处。但关键在于，模型的智能水平实质上已经达到了一个新的高度，使用户能够在非常广泛的层面上，在新的使用场景中体验前沿智能，并让模型以智能体的方式端到端地执行任务。这就是那个转折点。

实际上，这两者缺一不可。如果没有Claude Code这样的产品，Opus4.5就不会迎来那个高光时刻。

Lenny：而如果没有Opus 4.5，Claude Code的普及也不会以那样的速度加快。沿着这个话题继续说，有意思的是，如果你回顾Dario过去的所有预测，就会发现他当时基本上是在说：“好吧，编程问题将在一年内被百分之百解决。”大概是这样的。他一直在谈论AI将如何替我们完成所有代码工作。我记得当时每个人都觉得：“这绝不可能。这件事太复杂了。人类所做的事情如此复杂，AI怎么可能真正变得非常擅长？在很长一段时间里，这件事肯定还是要由人类完成。”事实证明，他完全正确。他还经常谈到另一件事，那就是这种指数级增长。现在我们已经处于这条曲线上——他现在是这样描述的。我们已经处于指数曲线上。我记得就在不久之前，每当新模型发布时，大家都会说：“好吧，到头了，已经没有进一步提升的空间了。”发展已经进入平台期，一切都结束了，没有更多增长空间了。但现在情况恰恰相反。现在我们已经身处其中。如果你想象一下指数曲线，我们现在已经进入指数增长阶段。按照定义，这意味着每一次改进都会带来巨大的飞跃，因为我们已经处于那段像冰球杆一样陡峭上升的曲线上。

身处这个疯狂而具有历史意义的时刻最核心的位置，是什么样的感受？AI正以如此快的速度进步，如此多的新可能性正在被释放出来。这究竟是什么样的体验？面对AI即将出现的越来越快、越来越多的进步，人们应该如何做好准备？

Diane Penn：我经常对团队说，我们大多数人在互联网从一种新奇事物转变为人人都可以使用的工具时，还没有真正开始工作。而现在，感觉人类正在经历这样的过程。类比是很有帮助的。所以，这个类比可以说明几件事。第一，适应能力会变得非常重要。我们有评测。

在安全方面，我们有安全测试和红队测试；在能力和产品方面，我们有新的原型，还有Claude Code、Tag等产品。但我们很难预测确切的时间点，也很难预测究竟会是哪一款模型。因此，当你面对新信息时，能否及时调整，并据此做出更好的决策，而不是继续坚持原来的计划，这种适应能力非常重要。

所以，这种敏捷性非常重要。另一个方面是：在这种情况下，你如何真正以第一性原理进行思考，并推演接下来会发生什么？这意味着什么？我们应该如何投资新产品？如何向用户解释这些差异？因此，身处指数增长阶段的很多体验都与这种速度有关：理解自己应该如何运作、如何做出更好的决策，然后运用第一性原理进行思考，进而采取行动。比如，我们原本预计几个月后才会启动一项计划，但现在模型已经能够真正完成相应的任务，我们就可以提前推进，并真正把它带给用户。这包括Cowork、Skills和Tag等产品。这是一个非常积极且会自我强化的循环。其中很重要的一部分也是彼此信任，确保我们正在认真思考正确的决策方式，或者让其他人参与进来。有些团队可能会比其他团队更早看到、也更快感受到这种指数级增长。因此，我们如何以足够的耐心和体谅，让整个组织，以及这个不断成长的组织和公司，都跟上这种变化？

模型能力的涌现

Lenny：所以，我从你的话里听到的是，每次发布新模型时，你们几乎都不知道它将能够实现什么。因此，真正重要的是，当新的可能性涌现时，要保持适应能力。就像你刚才说的，产品本身必须跟上，必须追赶模型已经具备的能力。同样，就像你说的，模型可以做很多事情，但人们可能不知道该如何让它做到，也可能没有办法做到。所以，产品需要让这一切变得简单，甚至只是直接告诉你：“这是你可以做的一件事。”这似乎也是非常重要的一环。你描述的大致是这个意思吗？

Diane Penn：是的。最初那些关于规模定律的论文里，有一些非常有意思的图表。大家应该都非常熟悉从损失的角度理解规模定律：随着你投入更多算力和数据，所谓的“损失”，也就是下一Token预测所产生的损失，会不断下降。因此，这是一条非常平滑的线性曲线：随着模型规模扩大，模型会变得越来越智能。但那篇论文里还有一点也很有意思，就是其中存在一些截然不同的涌现能力曲线。比如，随着你加入更多数据，并使用更多算力训练模型，你实际上会看到一些并不连续的涌现能力突然跃升。模型可能会从无法计算一加一，突然变成能够可靠地计算一加一。因此，这些涌现能力虽然在某种程度上具有可预测性，但并不意味着每个人都知道它们会在确切的哪个时刻出现。你需要通过评测才能判断它们是否已经出现，而这其实一直都是这项技术运作方式的一部分。这也使安全等方面的工作变得更加困难，因为如果你没有评测，也没有相应的测试系统，那么这些能力跃升可能已经发生了，而你却并不知道。

Lenny：这真的非常有意思。你可能已经开发出了一个能够完成某件事情的“AI大脑”，但你自己甚至都还没有意识到。因此，工作的一部分就是不断发掘：“哇，它突然变得非常擅长做这件事了。我们能利用这一点做些什么？”

Diane Penn：如果用我们产品经理的语言来表述，即便是今天的模型，也存在某种“产品能力余量”和“用户能力余量”。仅仅围绕我们目前的Opus系列模型，就还有很多东西值得探索，而以Fable为例，就更是如此。这种发现过程其实也是Anthropic从早期开始就存在于其基因中的一部分。它也仍然是我们在产品、Labs和整个研究团队中开展工作的重要组成部分。

Lenny：这让我想到Gary Tan一直在谈的一件事。他是YC的总裁——我也不确定他的具体头衔是什么。他提出了一个很有意思的观点：如果你现在愿意每年花10万美元购买token，那么你正在过一种人们到2028年才会过上的生活，因为到那时，token会变得非常便宜。每个人都可以用这种方式工作。但现在存在这样一个获取超额优势的机会：直接生活在未来，不惜成本地使用token。因此，人们有一个很大的机会，可以提前了解未来是什么样子，同时也可以大幅提高构建产品的速度。对于这个想法，以及我们姑且称为“最大限度使用token”这件事的价值，你有什么看法？

Diane Penn：我更倾向于从一种近乎产品的视角来看待这件事。token消耗更像是投入，而真正的产出是你刚才描述的实验。如果我们围绕实验来设定目标，这可能是定义结果的一种更好方式。这样一来，实现这个结果的方式也可能不止一种。我想说的是，在Anthropic内部，一些最具创造力的思考者和最优秀的原型设计者，确实会花大量时间使用Claude，也会使用我们每一个新版本的研究模型。所以，这里面确实存在一个规律：你必须真正使用这些模型，才能先想出好的创意，再想出出色的创意，然后继续想出更好的创意。这件事没有任何替代方案。当技术以如此快的速度发展时，如果你完全不接触技术本身，就很难制定出完美的战略。