深度学习先驱伊利亚·苏茨克维尔(Ilya Sutskever)揭示人工智能的5个惊人真相

0 评论 308 浏览 0 收藏 10 分钟

人工智能领域的规模化时代即将结束,AlexNet和GPT-3的合著者伊利亚·苏茨克维尔提出了五个令人惊讶的见解,挑战了我们对AI本质和发展方向的常规认知。

多年来,打造更智能人工智能的秘诀似乎简单可靠:增加数据量、提升计算能力,然后搅拌。原料越多,结果越好。伊利亚·苏茨克维尔(Ilya Sutskever)是AlexNet和GPT-3等一系列基础论文的合著者,他参与撰写了这一秘诀。如今,他警告说,可用的原料正在枯竭,而秘诀本身也正在失去魔力。

在最近一次对话中,Ilya指出,这种可预测的进步时代即将结束。他认为,简单地复制已知方法的规模化应用正在产生递减效应。他主张,我们正在重新进入一个更注重基础研究的“研究时代”,虽然拥有强大的计算机,但我们面临的却是关于学习本质的更为根本的问题。

本文提炼了Ilya在那次讨论中最令人惊讶和反直觉的五个见解。这些见解挑战了我们对人工智能的本质、运作方式以及未来发展方向的常见假设。

1. 规模化时代已经结束。欢迎回到研究时代。

Ilya认为,2020年至2025年左右是“规模化时代”。这一时期的特点是简单直接,近乎工业化:扩大预训练模型的规模。企业之所以青睐这种方法,正如Ilya指出的,是因为它提供了一种“低风险的资源投资方式”。更多的计算资源和更多的数据能够可靠地产生更好的结果,这比纯粹研究的不确定性要稳妥得多。

然而,那个时代正在终结。高质量的预训练数据资源终究有限,那种认为只需将现有模型规模扩大100倍就能解决所有剩余问题的想法正在逐渐消退。如今的挑战不再仅仅是将已知公式应用于更大规模的模型。我们正在重新进入一个“研究时代”,其目标是探索利用我们庞大的计算资源,以更高效、更根本的方式在智能领域取得真正的突破。

2. 当今的人工智能模型是过度训练的学生,而不是真正的通才。

Ilya指出了困扰当今人工智能的一个令人费解的悖论:模型在特定评估中表现出色,但它们在现实世界中的经济影响和可靠性却远远落后。这并非理论上的问题;他举了一个令人沮丧的常见例子,即用于编码的模型。你让它修复一个错误,它道歉后又引入了第二个错误。你指出新错误,它又把第一个错误带了回来,陷入了一个无休止的、低效的循环。

为了解释这种现象,Ilya举了一个生动的例子:两个学生。第一个学生花了1万个小时练习,成为世界上最优秀的编程竞赛选手,他记住了所有的算法和证明技巧。第二个学生只练习了100个小时,但表现也异常出色,展现出更高效的学习方式。他问道,哪个学生将来在职业生涯中会更有成就?答案当然是第二个。苏茨克维尔认为,如今的人工智能模型就像第一个学生一样。它们过度优化训练数据以通过特定的测试,因此缺乏应对复杂、开放式任务所需的强大泛化能力、判断力和“品味”。

3. 提升人工智能水平的秘诀可能在于理解人类情感。

在强化学习中,“价值函数”是一个关键信号,它能在任务最终结果出来之前很久就告诉智能体它是否走在正确的道路上。例如,下棋时,你一旦丢掉皇后就知道自己犯了错误;你不需要等到最终被将死才能得到这种负面反馈。

Ilya将这一技术概念与神经科学中一个引人入胜的案例联系起来:一位因脑损伤而丧失情绪处理能力的人。尽管他仍然能言善辩,也能解谜,却连简单的决策都无法做出。这其中的洞见意义深远:我们与生俱来的情绪,或许可以作为一种极其强大而高效的价值函数。Ilya指出了一种“复杂性与鲁棒性之间的权衡”。虽然情绪与我们高阶的推理能力相比似乎很简单,但正是这种简单性使其如此强大,能够提供持续的、直观的反馈,指导我们在各种情况下做出决策——而这正是当今人工智能完全缺乏的机制。

4. 我们一直以来对“通用人工智能”的理解都是错误的。

“通用人工智能”(AGI)一词的出现,正是对“狭义人工智能”(arrow AI)的直接回应。正如Ilya回忆的那样,人们会指着“跳棋人工智能、国际象棋人工智能、电脑游戏人工智能”说:“没错,国际象棋人工智能可以打败卡斯帕罗夫,但它就什么都做不了。” AGI 正是人们梦寐以求的、能够解决这种狭义问题的理想方案。预训练范式,即让模型同时提升所有能力,似乎是实现这一目标的明确途径。

然而,Ilya提出了一个反直觉的论点:通用人工智能(AGI)的概念“矫枉过正”,因为人类并非通用人工智能。人类对世界的认知非常有限。我们并非天生具备全面的技能,而是依靠强大的持续学习能力。因此,真正的超级智能不应被概念化为一个从一开始就无所不知的成熟思维。它应该被视为一种能够学习任何技能的思维,就像一个才华横溢但缺乏经验的年轻人,随时准备掌握任何工作或技能。

5. 最安全的超级智能可能是关心所有有感知生命的超级智能。

随着人工智能系统功能日益强大,如何确保其与人类价值观保持一致变得至关重要。Ilya预测,随着人工智能的强大力量变得不可否认,所有前沿人工智能公司都会对安全问题“更加谨慎”。

他提出了一个富有启发性和前瞻性的目标。与其试图构建一个只服务于狭隘人类利益的人工智能,我们或许更应该致力于构建一个“能够真正关爱有感知生命”的人工智能。他的理由是,既然真正先进的人工智能本身就是一个有感知能力的实体,那么将其价值观建立在对其他有感知生命的共同同情之上,或许会是一个更自然、更稳定的契合点。

然而,这并非一个简单的解决方案。正如采访者所质疑的,在未来人工智能数量远超人类的情况下,这样的目标难道不会主要服务于人工智能自身的利益吗?这一关键的反驳揭示了协调问题的巨大难度。Ilya的提议并非最终答案,而是推动了一场更广泛、更根本的辩论,探讨我们赋予所创造智能体的价值观。

结论:一系列新问题

Ilya 的观点标志着人工智能领域发生了关键性转变。我们正从可预测的蛮力扩展时代迈向一个更加深刻、以研究为导向的阶段。新的前沿领域不仅在于构建更大的模型,更在于理解泛化、学习和智能本身的基本原理。

这种转变迫使我们直面更深层次的问题。当我们不再仅仅致力于扩大模型规模时,核心挑战不再仅仅是探究智能的本质,而是我们真正想要创造何种智能——以及其价值观究竟是什么。Ilya认为,未来的突破或许不再依赖于蛮力工程,而是更多地回归以品味、优雅和对智能本质的深入探究为导向的研究。

本文由 @像素呼吸 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!