一个27岁的AI研究员从Anthropic辞职了,因为他担心AI会导致人类灭绝。

0 评论 250 浏览 0 收藏 19 分钟

前OpenAI与Anthropic核心预训练研究员Jacob Coxon辞职并公开警告:AI正冲向自我改进的超级智能,业内高层私下认为十年内人类灭绝概率超10%。本文借Tim Urban十一年前的《人工智能革命》框架,重审智能爆炸、DPU与智能阶梯,揭示我们已站在那条虚线之上。

昨天呢,我在X上看到了一条流量已经过了1亿的帖子。

讲道理,我在X上已经很久很久没有见过这种流量的帖子了。

发帖的人叫Jacob Coxon。

刚刚从Anthropic辞职。

他说,过去三年,他先后在OpenAI和Anthropic做大模型预训练。

然后现在,他不干了。

原因也非常离谱。

因为,他觉得OpenAI和Anthropic正在朝着能够自我改进的超级智能一路狂奔。

并且,拿着所有人的生命下赌注。

他甚至说,真正参与制造这些前沿AI的人里面,有不少人私下里真的相信:

如果事情最后失控,人类可能在这个十年结束之前灭绝。

我第一反应其实是:

这哥们谁啊?不会又是哪个营销号吧。。。

然后就验证了一下,发现人确实是真的。

这哥们今年27岁,英国人,数学出身。

2016年和2017年,他连续进入英国国际数学奥林匹克竞赛队伍,后来进入剑桥大学Trinity College学数学。

2021年,他参与过一篇发表在eLife上的医学统计论文,用贝叶斯方法研究结核性脑膜炎患者的基因型和生存率之间的关系。

2023年左右,加入OpenAI,GPT-4o的官方贡献者名单里,就有Jacob Coxon。

到了GPT-4.5,OpenAI更是直接把他列为了核心贡献者。

然后就是今年。

他从OpenAI去了Anthropic,工作依然做最核心的预训练。

但是没干多久,感觉是在不太行了,没办法违背自己的意志,就把工作辞了,然后在X上发了这些警示。

甚至《华尔街日报》还报道他说,以后这哥们甚至想离开AI行业了,再也不干了。

然后这帖子发出来以后,Anthropic的对齐负责人直接站出来支持Jacob了。

他说,小哥是对的,而且10年内发生的概率,大于10%。

还有另外一个Anthropic里面做安全研究的,也站出来以“个人身份”支持Jacob。

而且按照他的观察:

在AI公司里面,职位越高的人,往往反而越担心这个问题。

甚至刚刚离开Anthropic、之前负责可扩展监督的Joe Benton,也说Jacob对整个行业现状的描述,确实是准确的。

当然,这些依然只是他们对于未来风险的判断。

没人知道10%到底对不对。

不过我在看完他们发的内容,还有看完了很多评论以后,突然感觉到了一种荒诞感。

这个荒诞感源于我在11年前看过的一篇文章。

然后直到今天,都印象极其极其深刻,甚至这篇文章,我最近每年还会再去读一遍,常读常新。

这就是2015年1月Tim Urban写的一个长的丧心病狂的文章:

《The AI Revolution》,翻译过来,就是《人工智能革命》。

它分为上下两章,第一章叫:

通往超级智能之路。

第二章叫:

我们的永生,或者灭绝。

我到现在还记得,2015年我作为一个学生,在知乎上读完了这两篇长文的翻译版之后,对于我那幼小的心灵和浅薄的认知所产生的巨大的冲击。

真的被震撼了非常非常非常久。

因为那篇文章最后提出了一个极其简单、极其粗暴、又极其宏大的判断:

如果人类最终真的造出了远超自己的超级智能。

那它只会把人类文明狠狠推向两个方向:

一边是灭绝。

另一边是永生。

没有其他解。

然后昨天,在Jacob发了那个帖子之后,我又把这篇文章翻出来,读了一遍。

我忽然觉得。

我们好像真的站在了那篇文章的时间延长线上。

甚至有一点,一切皆命定的感觉。

Tim Urban当时先讲了一个特别经典的东西。

就是人类这个物种,很难真正理解指数增长。

因为我们的脑子天然喜欢线性推演。

今天比昨天多一点。

明天大概也比今天多一点。

可文明的发展经常完全不是这个样子,这才是很多时候,文明的图景。

站在那个转折点,看起来可能很刺激。

但你得知道,站在时间图上的人,其实根本看不到右边有什么。

所以,这才是站在这里的真实感受:

多么残酷的现实。

Tim Urban也举了一个特别有意思的例子。

假如你穿越回1750年,随便抓一个人,把他带到2015年。

让他看看飞机、高速公路、智能手机、互联网、卫星、核武器、空间站之类的高科技玩意。

这个人可能会觉得自己直接进了仙界,直接就,吓尿了。

可如果1750年这个人,也往前穿越同样的265年。

去1485年抓一个人回来。

那这个时候,1485年的那个人,震撼可能就会小很多。

再往前,为了获得同样的文明落差,可能需要跨越上万年。

Tim Urban给这种足以把古代人脑子干宕机的文明进步,起了一个很好玩的名字:

DPU。

Die Progress Unit。

大概意思就是,“一份足够把古代人震撼死的科技进步”。

以前攒一份,可能要1万年。

后来只需要几百年。

再后来,几十年,然后,越来越快。

2015年我第一次看的时候,感触还不是很深。

直到2026年的今天重新看。

Emmmmmmm。

我们这代人,好像已经开始亲自体验这个东西了。

2022年,ChatGPT出来,大家发现AI居然能像个人一样聊天。

2023年,GPT-4出来,我们发现,原来这叫多模态大模型。

然后,以o1为代表的推理模型。

Claude Code。

Codex。

Agent。

一个接一个。

应接不暇。

到了上周,GPT-6 Astra已经可以像人一样操作电脑,自己打开Blender、Houdini、Unity、Excel,在陌生软件里面找按钮、试错,然后几个小时一直干下去。

更别提学术那边。

5月份,一个OpenAI模型直接推翻了一个研究了80年的Erdős离散几何猜想。

9月4日,Anthropic拿Claude花11天,把费马大定理变成了一个1300万行、可以被计算机逐行检查的形式化证明,这活人类原本估计可能要干十年。

还有最近饱受争议的,OpenAI极限88小时解决的千禧年难题。

这个世界,好像越来越科幻了。

当然,最核心的还是另一件事,也是Jacob最担心的那件事:“自我改进的超级智能”。

2015年。

Tim Urban问:

如果AI有一天开始帮助人类研究更强的AI,会怎么样?

2026年2月。

OpenAI在GPT-5.3 Codex发布的时候说:

这是他们第一个在创造自己的过程中发挥关键作用的模型。

现在几乎稍微强一点的模型,都会在训练阶段有AI的参与。

这种感觉真的非常奇妙。

像是十一年前有人在雾里面,用光射出了一条虚线。

当时大家都不知道那根线会通向哪里。

十一年以后,我们低头一看。

自己,居然真的走在上面。

那篇文章后面还有一个我到今天都记得的东西。

智能阶梯。

Tim Urban说。

人类特别容易低估超级智能。

因为我们习惯把“更聪明”理解成:

普通人、聪明人、天才、爱因斯坦、超级AI之类的区别。

好像大家都在一个很窄的区间里面。

可你换一个参照物。

事情就会突然变得特别恐怖。

比如,黑猩猩和人类。

从整个生物智能尺度上看,黑猩猩和人其实只隔了一点点。

可就这一点点。

一边只会拿树枝捅白蚁窝或者蹭蹭树。

可另一边,发明了微积分、量子力学、互联网等等,甚至,还能飞出地球。

所以如果人类上面,还有一个比我们高一两个认知台阶的东西,那可能已经很难理解了。

可如果再往上呢?

Tim Urban当年写。

一个足够高阶的超级智能看我们。

可能就像我们看蚂蚁。

甚至它想给我们解释一个最简单的概念,我们都未必有理解那个概念所需要的认知结构。

这也是为什么那篇文章最后一定会走到:

Intelligence Explosion。

智能爆炸。

假如有一天,AI真的达到顶级AI研究员的水平,那它最有价值的工作之一。

很自然就是:

继续研究AI,帮助人类把下一代模型做得更聪明。

下一代更聪明以后,又更擅长研究下一代。

于是。

智能变强。

制造更强智能的能力也一起变强。

然后形成一个正反馈。

这东西2015年看起来。

真的很科幻。

可2026年的我已经没法像十年前那样,纯粹把它当科幻看了。

因为在各个模型厂子里,最原始的反馈回路,已经形成了。

当然,今天离真正意义上的递归自我改进还很远。

GPT-6不会自己造出GPT-7,然后GPT-7半夜醒过来,再自己训练GPT-8。

但那条逻辑链最早的几环,已经可以看见了。

于是我就会产生一种很奇怪的宿命感。

好像只要人类真的把“智能”这颗种子种出来,后面的事情就天然拥有一种巨大的惯性。

更聪明的AI,可以创造更大的经济价值。

更大的经济价值,吸引更多资本。

更多资本,买更多GPU。

更多的GPU,训练更强的AI。

更强的AI,又开始反过来帮助人类制造更强的AI。

公司之间还在竞争。

国家之间也还在竞争。

你不做,那别人也在做。

你不往前,那没办法,别人往前,你跑不跑。

最后整个文明像一条越来越陡的河。

所有人都知道水流越来越快。

可没有任何一个人或者一个群体,能真的握着整个世界的航向。

而Tim Urban那篇文章真正让我记了十一年的。

就是那个水流尽头的画面。

他引用Nick Bostrom的概念。

说,地球历史上出现过无数物种,然后,几乎全部消失了。

灭绝好像就是一种吸引子状态,一旦掉进去,你就再也回不来了。

可超级智能可能第一次给生命打开另一种吸引子。

Species Immortality。

物种永生。

Tim Urban画了一根平衡木。

人类一直走在上面,你只要一直走,那一定某一天。

小行星、瘟疫、战争、某种我们自己创造的技术等等。

就可能把我们撞下这个平衡木。

而超级智能出现以后。

我们可能就经历最狠的一次撞击。

一边,是所有物种最终都熟悉的终点。

灭绝。

另一边。

却是地球生命从来没有抵达过的地方。

永生。

这就是2015年那篇文章我觉得至今最迷人的地方。

它把所有关于人工智能的问题,几乎都压缩到了文明尺度。

我们今天天天讨论。

AI会不会抢程序员工作。

设计师怎么办。

那个公司可能会赢等等等等。

但是如果时间拉到足够长以后,AI这个人类最大的赌局,究竟能不能让我们这个物种,第一次,让生命摆脱死亡这个终极规则。

但如果赌输了,那只有一个结局。

灭绝,甚至是,加速灭绝。

所以看到这,你就可能理解,为什么开头,Jacob Coxon在研究了这么久AI以后,会辞职,会在X上,发出这样的帖子。

当然,我也能理解。

为什么还有那么多人明明担心,却依然选择留在实验室里面继续研究。

因为这东西的另一面,真的太诱人了。

AI今天已经开始参与数学发现。

开始进入药物研发、开始分析人类基因组、开始暴力研究新材料、开始操作实验和软件,开始加速人类世界的一切。

如果这条曲线继续往前。

再给它3年、5年。

会发生什么?

我不知道。

也可能没有人知道。

但我有时候会觉得,人类造AI这件事。

甚至已经慢慢超出了一个普通技术产品的范畴。

它很像一个物种,第一次试图制造一个比自己更聪明的东西。

这到底是人类文明最伟大的一步。

还是我们从罐子里抽出的那颗人类最后的黑球。

我不知道。

我只是这个时代里,一叶随波逐流的小舟。

我每天都用着AI,感受着AI带给我的便利,觉得AI实在是太好玩了。

然后偶尔,像昨天这样,重新翻开一篇十一年前的文章。

才会突然从每天鸡毛蒜皮的Benchmark、Token、Agent里面抬起头。

看一眼这条河到底流向哪里。

这个问题太大了。

但如果让我选。

我当然希望Tim Urban那根平衡木。

最后把我们撞向另外一边。

我希望癌症有真的消失的那一天。

希望衰老成为一种可以治疗的疾病。

希望我喜欢的人不用离开。

希望人类可以长命千岁。

希望我们走出太阳系奔赴那遥远的半人马星系。

希望某一天。

今天那些关于AI毁灭人类的文章。

都变成历史上的杞人忧天。

如果最后。

AI真的能帮助人类,跨过那根几百万年来,没有任何物种能跨过去的平衡木。

让生命第一次摆脱疾病、衰老、随机灾难和死亡的束缚。

那它就一定会成为整个人类历史上。

最伟大的事情。

没有之一。

作者:数字生命卡兹克 公众号:数字生命卡兹克

本文由 @数字生命卡兹克 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!