AI产品经理的底层方法论正在被颠覆。Anthropic的研究PM提出'评测集是新的PRD'，在模型能力断层式跃迁的时代，产品经理的核心技能从撰写文档转向定义评测标准，判断力成为最稀缺的资源。本文揭示了这一转变背后的实践与思考。

你有没有想过，如果你现在愿意每年在 token（模型处理文字时消耗的最小单位，可以理解成模型的燃料）上花 10 万美元，你其实是在提前过上 2028 年的生活。这不是我瞎编的比喻，是 YC 总裁 Gary Tan 最近说的一个判断。而当我在 Lenny’s Podcast 上听到 Anthropic 负责 AI Research 和 Labs 团队产品的 Dianne Penn 聊到这句话时，我突然意识到，产品经理这份工作，可能正在经历一次几十年才会遇上一回的重新定义。

Dianne Penn 2023 年加入 Anthropic，是公司第一个技术型 PM（产品经理），那时候整个产品团队只有五名工程师。之后她带队做了从 Claude 2 到 Fable 的每一代模型，也参与孵化了 Claude Code、MCP、Skills、computer use、tool use 和 reasoning 这些能力。听完这段访谈，我把她讲的很多东西在脑子里过了好几遍，想把 Dianne 说的这些观点，加上我自己咂摸出来的一些认知，写下来。

金门大桥附体的 Claude 一次 24 小时的怪癖实验

Dianne 加入的时候，整个 API 业务线只有一名工程师负责，这个数字现在听起来有点不可思议。她说那时候公司文化已经很强了，大家是真的在身体力行使命和价值观，能量很像一个典型的创业公司。团队一直在探索这个技术到底能给用户、给社会带来什么价值，从最早的 claude.ai 这种聊天助手，慢慢摸索到 tool use（工具调用）。

她提到一个真正让团队找到感觉的时刻，叫 Golden Gate Claude（金门大桥 Claude）。2024 年初，团队发布了一项可解释性研究，发现模型内部的层里存在所谓的特征，会对应到某些主题，比如列表写作，比如人物和地点。其中有一个特征反复被提到，就是金门大桥。当你把这个特征调高，Claude 就会在每一句回答里都忍不住提到金门大桥，你问它做意面的菜谱，它会告诉你这个橙色酱汁的颜色，就跟金门大桥的国际橙差不多。

团队想让更多人立刻感受到这个怪癖，于是工程、产品、设计、研究几个团队一起，在 24 小时内把这个体验搬上了 claude.ai。Dianne 说老实讲可能只触达了两千人左右，但这件事让大家第一次觉得，原来可以用这么快、这么真实的方式，把研究成果直接变成用户能摸到的东西。

我听到这一段的时候，反而觉得这才是整篇访谈里最值得记住的细节之一。一个完全不赚钱、影响力也很有限的怪癖实验，居然被四个团队火速凑在一起做成，这种事往往比任何一次盛大发布都更能说明一个组织的底色。真正的自下而上不是挂在墙上的口号，是看到一个有意思的现象，愿不愿意放下手头的事，24 小时内把它端到用户面前。

没人把 Anthropic 和 coding 放在一句话里说 直到 Opus 3

Dianne 说 2023 年她刚加入的时候，没人会把 Anthropic、Claude 和 coding（写代码）放进同一句话里讨论。当时 GPT-4 也被用来写代码，但那只是它众多用途里的一个，谈不上什么标签。她当时注意到一个细节，用户已经开始不满足于用模型做代码自动补全，而是真的在让模型写大段完整的代码。她觉得这是个机会，于是团队决定专门针对这一点，去训练 Opus 3。

从训练的角度看，这其实是个相对不大的改动，但带来的结果是巨大的。这个决定帮 Anthropic 在早期竞争中真正跟别人拉开了差距，吸引了第一批真正的 Claude 死忠和开发者，因为他们体验到了当时觉得不太可能实现的价值。

我觉得这一段特别值得琢磨的地方，不是这个决策本身多聪明，而是它诞生的方式。它不是从一份宏大的战略文档里推演出来的，而是从盯着用户实际怎么用产品这件小事里冒出来的。很多真正带来转折的决定，往往不是靠开一场战略会议想出来的，而是靠有人愿意死盯着一个具体的用户行为不放，然后押上重注去做窄而深的一件事。

光有模型还不够 还得有 Claude Code 这样的载体

说到 Opus 4.5，Dianne 说这又是一个大的转折点，巧的是同样发生在圣诞假期前后，大家都在家里，正好有时间写代码。她说 Opus 4.5 真正神奇的地方，不只是模型本身变强了，而是这次团队同时拥有了一个载体，也就是 Claude Code 这样一个足够好的产品体验。她提到团队常说的一句话，你得先有 frontier products（前沿产品），才能真正拥有 frontier models（前沿模型），用户才能感受到前沿模型的魔力。

其实 Claude Code 的雏形早在这之前好几个月就已经让团队感受到魔力了，但直到模型的智能水平到了一个新的高度，用户才能在更广泛的场景里，同时体验到前沿的智能，也体验到端到端、以 agent（自主执行任务的智能体）方式运行任务的能力。她说这两件事其实是互相成就的，Opus 4.5 没有 Claude Code 这样的产品，不会有那种爆发的瞬间，Claude Code 没有 Opus 4.5 撑着，也不会有那种加速采用的势头。

这一点我觉得很值得多想一层。我们习惯把一个 AI 产品的爆发，简化成要么是模型突然聪明了，要么是产品做得特别好。但真实情况经常是这两件事同时发生，互为条件。这意味着做产品的人不应该等模型准备好了再动手做产品，也不该等产品做完美了才押注模型能力，这两条线其实得一起往前跑，谁都不是充分条件，凑到一起才算数。

活在指数曲线里面 到底是什么感觉

Dianne 打了个比方，她说团队里大多数人，都没赶上互联网从一个新鲜玩意儿变成人人都在用的东西的那个阶段，但现在大家正在亲身经历 AI 的这个过程。她说这种时刻最重要的能力是适应性，因为你很难预测下一个突破会精确发生在哪个模型、哪个时间点上，所以面对新信息时，你得能迅速调整决策，而不是死守原来的计划。另一个能力是用第一性原理思维（first principles thinking，从最基础的事实出发推理，而不是照搬过去的经验）去想清楚接下来该做什么。

她提到 scaling law（规模法则）论文里有一类图特别有意思，随着算力和数据的增加，模型的能力不是平滑上升的，而是会出现一种断层式的跃迁，比如模型从算不对一加一，突然变成能稳定算对。这种跃迁往往没法提前预知具体会发生在哪个节点，你得靠 eval（评测集，一套用来衡量模型表现的标准化测试）才能发现它已经发生了，这也是为什么安全工作会变得更难。

她还提到一个说法我很喜欢，叫 product overhang 和 user overhang，说白了就是当下的模型里，其实还藏着很多没被人发现的能力，包括现在这一代 Opus 和 Fable 身上都是这样。挖掘这些藏起来的能力，本身就是 Anthropic 文化里很重要的一部分。

我特别喜欢这个说法带来的视角转变。它把做产品这件事，从”我们接下来该造什么”，变成了”这个模型现在已经会的东西里，还有哪些没被人发现”。前者像是在画蓝图，后者更像是在挖矿，这两种心态导致的工作方式完全不一样。

token maxing 不是烧钱 是把实验变成一件大家一起干的事

回到开头那句关于每年花 10 万美元买 token 的话，Dianne 的解读跟我预想的不太一样。她说与其把 token 花销当成目标，不如把它当成投入，真正的产出是实验本身。团队内部一些最有创意的人、最会做原型的人，确实会花大量时间跟每一版新的研究模型泡在一起，因为想不出好点子，靠的从来不是完美的策略，而是真的动手去用。

她还提到早期团队有个习惯，叫在公开场合工作。那时候产品少，几乎全公司都在一个 Slack 频道里试用早期版本的 Claude，尝试各种用法，有人试着让它改一篇文章，有人试着让它想怎么写一封邮件。大家都在同一个地方公开地试，神奇的地方就在于，一个人冒出一个点子，很快就有别人拿这个点子去做各种变体，往往试个十来次，就能碰出一个真正有意思的用法。她说实验这件事，不应该只是一个人闷头琢磨，团队完全可以主动创造这种集体发现的场域。

我觉得这一点特别值得学的地方，是它把”砸钱买 token”这种听起来很暴力的说法，重新框成了一种创造集体发现条件的方式。这跟很多开源社区、跟 Twitter 上大家互相围观彼此的实验是同一个道理，一个人看到别人做出来的东西，往往比自己憋在屋子里瞎想更容易蹦出新点子。

labs 团队的打法 方向要死磕 做法要放松

Dianne 也负责给 labs 团队做产品支持，这个团队由 Ben Mann 带队。她说 labs 的核心命题，是去拉那些不在主路线图上、却可能是大赌注的线头，看看这个方向到底有没有戏，以及如果有戏，它的 10 倍、100 倍甚至 1000 倍会长什么样子。团队采取的做法是，对一个主题或者方向，可以抱有非常强的信念，但对具体做成什么样的原型，态度要放松得多。

labs 里的小组通常很小，很多想法一开始就是一个工程师在捣鼓。她说团队会专门挑选那种真心喜欢从零到一折腾东西的人，因为这条路上大部分尝试最后都会被否掉，可能过一两代模型之后才会被重新捡起来再试一次。这对人的消耗其实不小，你把心血全部投进一个赌注里，结果它暂时没跑通，这不好受，所以选人本身就是一门学问。

我觉得这种”方向死磕、做法放松”的组合特别适合用在任何变化快的领域。很多团队反过来了，方向摇摆不定，具体做法却抓得死死的，一个原型改了八版还在纠结按钮放哪，方向到底对不对反倒没人敢拍板。

evals 正在取代 PRD 这是我听完最颠覆的一段

这是整场访谈里我印象最深的一段。Dianne 说，传统意义上，一个 PM 证明自己在把控产品策略、创造用户价值的方式，是写一份 PRD（产品需求文档）或者产品愿景文档。但对她带的这批 research PM 来说，真正推动用户价值的方式，是找到对的用户反馈，然后把它变成一个 eval。她说团队内部有句话，叫 evals are the new PRDs，评测集才是新时代的产品需求文档。

她举了一个具体例子。Claude 2 时代，团队收到的反馈是”Claude 不太会遵循指令”，这个说法本身很模糊，没法直接拿去找研究员。于是团队开始一点点深挖，到底是什么情况，用户具体问了什么，Claude 具体回了什么，细到看每一段原始对话。挖到最后发现，差不多 80% 所谓”不遵循指令”的反馈，其实都指向同一件事，Claude 没法稳定输出正确格式的 JSON。于是团队找了三四十个 Claude 输出错误的具体例子，把它们整理成一套 prompt 和答案的对照，这就成了一个 eval。每次出新版本的 Claude，都拿这套 eval 去跑一遍，跑到接近百分之百通过，这个痛点才算真正被解决。

Lenny 当场把这个说法总结成一句话，说这基本就是给 PM 用的测试驱动开发，先写测试，再谈其他。Dianne 认同这个说法，还补充说这已经不只是 Anthropic 内部的事，只要你做的产品是模型加上外层工程壳层再加上具体使用场景拼出来的，评测集这件事迟早会变成每个做产品的人都要掌握的技能，因为你没法改进一件你没法衡量的事。她还提到一句让我印象很深的话，叫抠 token 要跟抠像素一样用心，意思是读用户对话记录，得读到能分清楚这次失败到底是模型调错了工具，还是搜索环节找错了知识，还是对齐出了问题，因为这几种失败对应的修复方式完全不同，得分别路由给不同的团队去处理。

我觉得这是这次访谈里最值得所有做产品的人认真消化的一段，哪怕你完全不在 AI 实验室工作。以前做产品，衡量做得好不好，靠的是一份文档写得漂不漂亮，一个原型测试反馈好不好。现在如果你做的东西是建立在一个不确定性很强、每次输出都可能不一样的模型上面，光靠感觉判断行不行，根本不够，你必须要有一套可以反复重跑的评测集，才能知道你到底是改进了，还是在原地打转。这不是一个赶时髦的新词，是真的换了一套底层方法论。

PRD 到底死没死 我觉得没那么绝对

有意思的是，Dianne 并没有说 PRD 已经彻底过时了。她说每一代模型，团队其实都还会写 PRD，只是这份文档主要不是写给研究员看的，而是写给不断扩张的产品团队、工程团队，还有法务、安全这些利益相关方看的，用来让一大群人对齐同一套目标和事实基础。

她还提到另一种场景，PRD 依然很有价值，就是那些还很模糊、根本没有明确用户痛点的机会。比如在 computer use（让模型操作电脑屏幕的能力）正式上线之前，团队手上并没有一堆具体的用户痛点可以参考，这时候 PRD 里关于产品愿景的部分，就能帮团队想清楚，就算这个技术现在还没法服务所有人，能不能先让它在某个小范围的用户群里，先跑出真正连贯、站得住脚的价值。

我自己听完的理解是，evals 和 PRD 不是互相取代的关系，而是分工不同。问题已经足够清楚、需要反复测量改进的时候，用 evals。问题还很模糊、需要先说服一大群不同背景的人往同一个方向使劲的时候，PRD 依然是最好用的工具。选哪个，不该是习惯问题，应该看这个问题本身处在哪个阶段。

招聘的标准三年没变 但能证明这个标准的方式全变了

Dianne 说她的团队三年来都没有改过招聘的考察流程，看重的特质也一直没变，排第一位的始终是第一性原理思维，而不是把过去在消费产品或者 B2B SaaS 里学到的套路直接搬过来用。她举的例子正好呼应了前面那段，以前证明自己有产品策略的方式是写 PRD，现在对 research PM 来说，真正推动用户价值的方式变成了定义对的评测集，这本身就是一次第一性原理式的推理，不是因为过去这么做过就继续这么做。

她还提到一个招聘细节，即便是那些已经有很多年经验、以前是带团队的候选人，入职之后的培养计划跟应届生几乎一样，都得从理解用户、读经过用户同意的真实反馈、跟客户聊天开始。她说得挺直接，做管理的人必须自己动手，得真的花时间用这个技术去交付东西，而不只是审阅别人做出来的结果。哪怕是团队里资历最深的人，也得留出一部分时间，亲自认领一两条工作线，跟着模型的节奏一起跑，才能保持对模型现在到底进步到哪一步的判断力。

这跟我们过去理解的职业阶梯正好反过来。以前大家默认，越往上走，越应该把执行的活交给别人，自己负责拍板。但在这种变化速度下，如果你自己不动手，你脑子里那套关于什么是好、什么是不好的直觉，很快就会停留在上一代模型的水平上，跟不上趟了。

Fable Mythos 撞上的那堵墙

访谈里聊到一个挺现实的话题，就是 Fable 和 Mythos 这两款模型上线之后遇到了不小的审查和限制，各家公司都得先确认这些模型不会被用来入侵自己的系统。Dianne 没有直接评价具体的政策和出口管制细节，但她谈到了这背后的产品问题，随着前沿模型能力越来越强，安全护栏、红队测试和上线前审核这些流程，也得跟着快速进化。

她提到一个细节，在 Fable 这一代模型之前，团队并没有做太多所谓的 fallback UX（降级体验），也就是当最先进的模型暂时用不了的时候，怎么保证用户依然能拿到一个足够好的回答。后来团队专门搭建了这样一套系统，确保就算最前沿的模型被限制，用户用 Opus 4 依然能得到不错的体验。她说团队的目标是尽量让这类系统保持普惠，减少这种因为限制而产生的落差，这也是目前最优先的事项之一。

我觉得这是一个挺新的产品设计问题，值得单独拎出来说。以前谈产品分层，大家想到的是免费版和付费版的差别。现在多了一种全新的分层方式，最强的能力可能因为安全或者合规原因被临时关掉，产品团队要做的，不是假装这件事没发生，而是提前设计好一套体面的降级方案，让大多数用户几乎感觉不到这道墙的存在。

为什么 Claude 愿意反驳你 反而是它最大的价值

这段我听完之后反复回味了好几次。Dianne 说，团队里内嵌的那套对齐和价值观设计，也就是常说的 Claude 的 constitution（宪法，指写进 Claude 里、规范它该怎么思考和表现的一套原则），很多人以为这会限制 Claude 的能力，让它变得更死板，但实际情况恰恰相反。为了让 Claude 尽可能聪明和有用，它必须知道在正确的时机站出来反驳你，这种一来一回的碰撞，才真正能帮你得出更好的结论。

她举了个例子，团队用一个研究版本的 Opus 来帮忙想下一代 Claude 该怎么定价，让模型自己去推演这件事该怎么做，反而得到了更好的结果。她说主动性这件事，不只是把安排好的任务做完，更重要的是知道什么时候该主动提出一个新想法。知道什么时候该反驳，是这套模型性格设计里非常核心的一部分。

我觉得这段道理其实适用于任何一种真正好用的协作关系，不管对象是人还是模型。真正有价值的搭档,从来不是一路顺着你说话的那种，而是愿意在关键时候顶你一下的那种。很多人听说 Claude 有一种独特的”性格”,其实说到底就是这套设计选择的结果，宁可要一个愿意讲真话的伙伴，也不要一个只会说好的应声虫。

判断力这件事 到底还剩多少留给人类

访谈快结束的时候，Dianne 被问到人脑接下来还能在哪些地方保持不可替代。她说判断力是一个,这种判断力是靠大量细微经验一点点攒出来的，模型现在还没经历过那么多。哪些东西真的值得投入去做，这件事需要判断力、需要坚持、需要主动性，这些都超出了单纯的能力范畴，是一种做事方式和性格特质。她提到软件工程这个领域已经走到指数曲线比较靠前的位置，而生物、生命科学这些领域，可能才刚刚站在指数曲线的起点上。

她还聊到作为两个孩子的妈妈，自己想培养孩子的东西，跟她自己成长过程中被培养的东西差不多，好奇心、坚持，还有相信并且发展出自己内心的声音。她说这一代小孩最该学的，是敢于有自己的立场，敢于表达出来，这跟怎么避免过度依赖 AI 是同一件事的两面。

她还提到自己早年在摩根大通做高收益债券交易员的经历，当时整个交易大厅里她是唯一的女性,也是背景最不一样的那一个。那段经历让她明白，真正重要的从来不是你的资历或者背景，而是你有没有一个足够好的想法，以及你有没有底气去坚持它。这种心态她说一直带到了现在做产品的方式里，不管一个人级别高低，只要点子是好的，就该帮他把这件事推到底。

听完整段访谈，我最大的感受是，随着实现一件事的成本几乎降到零，token 便宜到可以随便造原型，稀缺的东西彻底转移到了判断力上面，知道什么值得做，知道什么时候该信模型顶你一句的判断，知道什么时候该先有自己的立场再去问 Claude。有意思的是，几乎是同一时间，OpenAI 那边做 Codex 的 Andrew Ambrosino 在另一场访谈里聊的核心观点，也是 taste（审美判断力），是判断力。两个人在两家互相竞争的实验室，做着完全不同的产品线，却不约而同地得出了同一个结论,实现不再是稀缺资源了，判断力才是。这种殊途同归，可能才是最值得相信的信号。