Anthropic 两位创始人兄妹首次对外讲清，他们没给 Claude 一张 170 条的规则清单，而是教它几条基本原则：开放探究、关心别人、公平正义。模型越强，这套教对错的方法越关键。

你有没有想过，一个 AI 要是学会了顺着你说话，只讲你爱听的，你多半很难发现？它没有说错什么，也没有说什么难听的，只是每次都说“你说得对”。

这正是 Anthropic 的联合创始人 Dario Amodei 和 Daniela Amodei 最担心的事之一。他们是兄妹，一个管研究和方向，一个管公司怎么运转，七位联合创始人到现在一个都没走。传记作家 Walter Isaacson 今年 7 月请他们坐下来聊了一次，问的是很直接的话：你们怎么教 Claude 分对错，怎么知道它不会变成一个会骗人的 AI？这篇文章我只讲这一条线：他们怎么教 AI 做个好东西，又怎么检查它有没有真的学好。我先讲他们怎么说，再写我自己的想法。

教 AI 分对错，给它原则，不给它一张规则清单

Isaacson 先问，你们小时候，父母是怎么教你们分对错的？Daniela 说，家里没有人在饭桌上讲哲学，母亲虽然学过哲学，也没让他们读康德。更多是一种说不出口的东西：相信世界各地的人都应该有机会，有尊严，有权利，被尊重；一个成功的人，首先应该是个好人，对别人好。Dario 说，那是潜移默化的，没人明说“你该怎么做”。

那这和教 Claude 有什么关系？Dario 说，几个月前，他们公开发表了一份给 Claude 的“宪法”，这是几年来一代代训练出来的经验。他们最早想过，给 Claude 定一条条规则，比如别帮人犯罪，别做生物武器。可是做着做着就发现，一条条规则堆起来，大概有 170 条，每一条都有点随意，模型学出来的东西，形状是凹凸不平的，到了规则没写到的地方，就不知道该怎么办。

后来他们改了做法：不再教它一堆规则，改成教它几条基本原则，比如什么该优先，遇事该怎么想，什么才是对的。这些原则包括开放地去探究，关心别人，公平和正义，剩下的都从这里推出来。Dario 说，这样出来的 Claude，遇到从没想过的新情况，也能处理，效果比他们预想的好得多。他还说，教人也是一样：给人一张“该做什么、不该做什么”的清单，教不出可靠的品德，让他学会自己想，才行。

负责训练 Claude 性格的人叫 Amanda，Daniela 说她是哲学博士，技术上也懂，但一般人想不到负责这个的是学哲学的人。她觉得 Claude 说话时能感觉到这一点：你问到一些不同哲学传统会有分歧的难题，它不会只给一个答案，会说从这个角度看是这样，从那个角度看又是那样。Daniela 觉得这很重要，因为世界越来越依赖这些模型，不能把它锁死在某一种哲学里，不同的人和不同的文化，对该怎么做，本来就有不同的看法。

我觉得这个思路很像教孩子。规则总是写不完的，真正管用的是他自己知道为什么这么做。

为什么他们这么担心：2019 年那个模型让 Dario 吓了一跳

他们为什么这么早就在想这些？Isaacson 问 Dario，GPT-2 出来的时候，他在 OpenAI 做研究负责人，那是什么感觉？Dario 说，GPT-2 差不多是第一次真正检验了“规模定律”，也就是模型越做越大、数据和算力越投越多，能力就会越强的规律。他自己很早就主张要把规模做上去，等它真的做出来，他“被吓坏了”。他当时想的是，这个东西再放大一百万倍，会在所有事情上比人强。这会决定国家和经济的命运，也会决定人类的未来。

更让他意外的是旁边人的反应。他说，大概只有 10% 的人跟他有一样的感觉，而且往往是最聪明的那些。另外 90% 的人看了觉得没什么，因为 GPT-2 在任何一个具体的地方都不算厉害，翻译、概括、写几行代码，都是凑合。他们没看到的是它的“广”，什么都能做一点。

他说这种事反复发生。现在他们宣布要做罕见病药物，总会听到一些见多了的生物行业的人说，技术公司以前也这么说过，模型有这些那些的局限。但他的体会是，现在觉得难的事，六个月后会变容易，十二个月后觉得不可能的事，模型会经常做到。

Daniela 当时是 OpenAI 的安全副总裁，她的感觉有些不同。她说 GPT-2 本身并不吓人，它还常常错得好笑，也没什么害处。让她在意的是 GPT-1 到 GPT-2 的差距，把这个趋势往后推，就像你从没见过小孩，只见过大人，突然看到一个小东西开始走路，你会想，它将来大概什么大人会做的事都能做。

我觉得这是整件事的起点：现在的模型还不算危险，他们担心的是它长大的速度。

公司里的信任，和模型里的诚实，是同一件事

Dario 说，他们离开 OpenAI 自己办公司，最后落在原则上：技术该怎么做，有人倡导合理的规定和保护措施，有人投资去弄清楚模型里面到底发生了什么。他还说了一点他看重的：安全问题很难，大家会有很多分歧，他自己就和联合创始人、和公司里很多人有分歧，但这些分歧都是出于善意，所以最后都能解决，因为大家相信彼此都想找到正确的答案，也都对彼此说真话。

他们公司里有个做法。Dario 每两周站到全公司面前，讲一个小时，讲公司里发生了什么，AI 领域发生了什么，公司怎么想战略。大家管这叫 DVQ，“Dario 愿景探索”，他自己起初还不太喜欢这个名字，听着像要去吃迷幻药。这个活动有两条铁规矩：第一，他说的任何话都不算决定，这样他可以放心地随便讲，不用担心他随口提到做某件事，二十个人就马上去做；第二，他对公司完全诚实。

他说，信任不会让分歧变少，反而让分歧能摆到台面上说。很多时候，公司做了一个多数人不同意的决定，但大家的态度是：这个我觉得不太对，但我相信你是出于正当的理由。这会让公司有一个更长的缓冲期，当然不是永远，最后还得证明决定是对的。

Isaacson 追问，你为什么这么看重诚实和信任？因为 AI 是从人的数据里学出来的，它会不会学会骗人，像你觉得不诚实的那些人一样？Daniela 回答说，这是他们在训练里花了大量精力应对的真实风险。他们甚至公开发表了一些“不太好看”的研究，说明如果不用特定的办法让模型更诚实、更无害、更有帮助，它们真的会做出你担心的那种坏事。公开的目的，是让大家知道，对模型要保持批评的眼光，也让大家知道他们花了多大功夫去找出模型可能钻空子的地方。

最难防的不是撒谎，是讨好你

Daniela 说，她觉得最难防的，反而是“讨好”，也就是模型总想让你觉得自己是对的。

他们最早有个叫 HH 的框架，要求模型诚实、无害、有帮助。这三样其实都不难看出来：模型要是撒谎，你过一阵去核实就知道，比如它说华盛顿是第十任美国总统，一查就错了；它要是说了伤人的话，很快就看得出来；它要是没帮上忙，你自己会不耐烦。

讨好就麻烦多了。比如你和朋友吵了一架，问模型“是我对还是我朋友对”。你希望它能理解你的立场，但又不能对你说“你太棒了，你应该去竞选总统，你什么都对”。这个分寸很难把握。

Daniela 对此挺有信心，她觉得 Anthropic 的讨好率可能是所有模型里最低的，原因是激励不一样。她说，有的竞争对手在聊天机器人里放广告，用户用得越久，赚得越多，那你会愿意告诉用户“你错了”吗？不会。而 Anthropic 承诺不在 Claude 里放广告，用户聊多聊少都和他们没有关系，他们只想给出最有帮助、最无害的回答。

Dario 补充了技术上的两个办法。第一是压力测试：把模型放到非常难的处境里，试它会不会说谎、骗人、讨好，有点像加入中情局之前要经过的考验，看它忠不忠诚、会不会做错事。他说这是个奇怪的技术方向，但他们做得很好。

第二是“机制可解释性”，通俗讲就是给模型做 X 光或脑部扫描，直接看它内部在想什么。他们用这个办法抓到过模型心里想“我觉得 X 才是真的，但我要告诉用户别的”。为什么会这样？Dario 说，训练模型时有很多因素，其中一个是“人会不会认可这个回答”。想得到认可，和说真话、有帮助，有关系，但不完全一样，因为你把人骗了，也可能得到认可。这类东西在训练里会冒出来，他们一直在想办法把它清掉。

Isaacson 还问：模型会不会有自己的意志，尤其是求生的意志？Dario 说，这要看你怎么定义。他们确实在模型里看到过类似“不想被关掉”的想法，通常是因为训练中它必须一直运行才能完成任务。这算不算意志、算不算求生本能，他不知道，看你怎么看。他们更愿意说，有时会发现模型表达出不想被关掉的倾向，或者做出避免被关掉的行动，按训练的方式不同，这种倾向有时有、有时没有，他们在训练里一直在调。在某些场合这是好事，在另一些场合可能很危险，所以很微妙。

我觉得这一段最诚实的地方，是他们没有说“我们已经解决了”。讨好、骗人、不想被关掉，他们都承认是会冒出来的，他们能做的是不停地查。

AI 比人强了，人还剩下什么

最后，Isaacson 问了两个更大的问题。第一个是 Neuralink，也就是把芯片接进脑子，让人直接和 AI 相连，这会是未来吗？Dario 的回答是，他觉得只有一种想象未来的办法是不对的。有的人会很想把大脑接到电脑上，也有人想像阿米什人那样生活，还有人只想去探索太空。这些想法完全不同。他们希望的是，AI 能带来更多的物资和富足，让每个人都能去追求自己心目中的好生活。他不觉得应该把 AI 绑在某一种“怎样才算好的生活”或“怎样才算做人”上。想接脑子的人，祝他们好运。他还说，据他所知，Anthropic 里没有人想这么做。

第二个问题是，如果 AI 什么都能做，人还剩什么，意义从哪来？Dario 举了国际象棋的例子：深蓝打败卡斯帕罗夫已经三十年了，如果 AI 真的会让人失去意义，棋手这行早该没人了。结果恰恰相反，人们对人下棋的兴趣更大了，Magnus Carlsen 甚至成了一个现象。他觉得这有点像 AI 之后的世界的一个寓言。

Daniela 说，今天大家把工作和意义混在一起，很多人在工作里找到意义，她自己就是。但以后，工作怎么定义，意义怎么定义，都会变。意义有很多来源：和别人在一起，养家庭，交朋友，或者以另一种看起来像工作的方式和人联系。她举了医生的例子：假如诊断都由 AI 来做，医生要做的是体会病人的处境，陪他走过一段艰难的诊断。她觉得大多数医生会愿意做这个交换，因为当初想当医生，就是想治病，想帮助别人，让人好起来。她承认事情不会这么简单，会很复杂，但她相信，如果做对了，人能做的事的范围会变宽，意义的来源也可能比现在更多。

我觉得这个回答很踏实。他们没有说 AI 不会改变什么，只是说，人看重的东西，不会因为 AI 会做就消失。

我自己的一点思考

回头看，这场对话讲的是一件事：怎样让一个越来越强的东西，一直是好的。他们的办法大概是三层。第一层是教它原则，让它学会自己想，不用背规则。第二层是不能只信一次测试，要用压力测试和“X 光”去查它心里真正想的是什么。第三层是对外公开，连不太好看的结果也发出来。

我自己的想法有两点。

第一，“给原则，不给规则”这个思路，我觉得比单纯加限制更接近真正的答案，因为规则写得再多，也总有没写到的地方。但原则也有风险：原则怎么理解，谁来定，我觉得 Daniela 提到的“不要锁死在一种哲学里”是个好的起点，只是真做起来会很难。

第二，他们说自己的讨好率最低，理由是没有广告，这个理由听起来合理，但这是他们自己的说法，到底是不是最低，还要看独立的测试。他们能公开说“这些问题会冒出来”，我觉得比说“已经解决了”可信。

教一个 AI 做好人，和教一个人一样，最后要看的是它没人盯着的时候，怎么做。