姚顺雨拒绝想太久

0 评论 0 浏览 0 收藏 15 分钟

混元团队在 Reddit 答了近 70 个问题,最坦率的一条是承认旗舰 Hy4 会「过度思考」。他们用蒸馏加强化学习控制推理长度,让 flash 的输出 Token 少了 50%,也没回避为什么不公布老基准成绩。姚顺雨给混元换的不只是训练系统,还有能挑毛病的人。

混元有时会在一道题上想得太久。姚顺雨和同事们正想办法让它学会适时停下来。

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带领团队来到Reddit,与网友做了两个小时的公开问答。这是混元团队第一次在开发者社区进行公开问答。

此时距离混元今年2月重建预训练和强化学习基础设施,已经过去了九个月。11月4日,腾讯发布旗舰模型Hy4,12天后又推出了轻量版Hy4 flash。

网友提了将近70个问题,范围非常广泛。网友们关心混元怎么训练、架构怎么选,也关心开源计划、本地部署和模型在编程、写作上的表现。话题还延伸到了AI安全和年轻人如何入行。

这场问答几乎没有禁区,谈起自家模型的短板,姚顺雨和同事们也相当坦率,可以说是“回应一切”了。

有网友问:后训练过程中,最难改善的模型行为是什么?

混元团队给出的答案是“过度思考”——最近刚刚发布的GPT-6.2 Astra,也没少因为这个问题被网友吐槽。

按照混元团队的解释,旗舰版Hy4追求的是尽可能高的智能水平,思维链偏长是团队已经注意到的问题,目前,他们也在尝试改善Hy4的Token使用效率。

不过,旗舰版积累下来的解题过程也有别的用处。训练flash时,团队先通过蒸馏,让小模型学习旗舰版的解题方法,再用强化学习控制推理长度。按照腾讯此前公布的数据,这项优化使flash完成一项任务所需的输出Token数量减少了50%。

据腾讯三季报,WorkBuddy日活用户已超过1000万。按照混元团队的建议,日常文档处理、PPT制作等工作都可以交给flash,遇到需要持续执行多个步骤的复杂软件工程任务,再让旗舰版Hy4出场。

今年5月,腾讯在给投资者的演示材料里披露,Hy3 preview接入了131款腾讯内部产品。

姚顺雨重建了模型的训练系统,也给混元找来了一批有资格挑毛病的人。

办公助手要它改表格,游戏开发者要它实现玩法逻辑,这些人手上都有现成的活儿,可以作为模型的试金石。

有位开发者问,为什么混元不公布几项大家熟悉的考试成绩?团队说了几句“大实话”:有些老题,各家分数都快做到头了。

为了练习游戏开发,混元找来腾讯互娱的专业开发者,一起准备训练材料、设计测试。从一段好看的游戏演示,到角色真能按规则行动,做游戏的人最清楚难点在哪里。

经过针对性训练,Hy4对Unity、虚幻引擎、Godot等主流游戏引擎的适配进一步加深。相比预览版,正式版在游戏开发和游戏逻辑两项评测中的成绩分别提升了19.1%和9.8%。团队也开始让混元尝试开发更复杂的多人联机游戏。

办公助手WorkBuddy出的题则更“日常”,像是给一份现成的PPT改几页、修好一张表、或者处理一段音视频。腾讯基于WorkBuddy的典型工作任务,建立了一套名为WorkIndex的内部评测,在这套测试里,旗舰版Hy4得了51.4分,flash得了42.1分,后者做完一项任务的平均成本约为前者的二十分之一。

另一场盲测,则请来了85位使用WorkBuddy的腾讯员工,由他们给259项任务的完成结果打分。满分4分,flash的满意度是2.79分,Claude Haiku 5.5是2.81分。这次测下来,flash的单任务成本为0.26元,从开始到交付,耗时中位数是6.7分钟。

腾讯之外,也有人带来了自己的考卷。

评论区里就有一位开发者,专门把AI编程时出过的错攒成了一套题。有的AI改错过代码,有的审查代码却漏掉了问题,还有的压根没跑测试,回话却说自己已经测过了。据他所说,flash是头一个通过他们全部内部测试的模型,完成得也比他试过的几款同类模型快。

他还发现,在他自家的代码库里,flash似乎比其他参测模型思考得更多,调用工具的次数却少了许多。

也有用户更在意模型说话的方式。有人告诉混元团队,如果混元能把事情解释得更明白,文章写得更好读,他就有理由换掉现在使用的千问。

混元研究员对此表示认同:有时候,一个好例子顶得上五段话。

还有用户抱怨,模型一代代更新,写作能力反倒退步了。在他看来,Claude 3.5比Claude 5.5更适合编辑文字,千问3.6也比3.8更会写。混元团队也注意到了类似的现象,怀疑问题可能出在训练目标上。

目前,混元团队已经将创意写作和文本可读性列为重点改进方向,希望模型写起东西来更像人,少一些套话。

还有一位网友提问:开发混元的过程中,你们觉得最难的是哪一刻?

一位混元研究员在帖子里回忆,正式开训前,关于训练数据的对照实验做得比自己希望的少。

他原本还想把不同因素拆开,多做几轮,看看究竟是哪一项起了作用。结果训练出奇顺利。他形容那一刻的心情,像在牌桌上把筹码全押了,狠狠梭哈一把,居然成了。

Hy4有7700亿个参数,每生成一个词元,大约动用其中490亿个。提问者拿字节和Kimi作比较,想知道,别人都在谈几万亿参数,混元为什么选了眼下这个规模?

混元团队认为,做得扎实的小模型也能超过更大的模型,训练成本更低,研究人员也能从研发过程中积累更多经验。至于下一代,团队明确表示,模型规模还会大幅扩大,但没有给出具体数字。团队还表示,眼下这款Hy4也还有潜力可挖,团队会继续加大强化学习的投入。

另一位开发者对Hy4研发过程中的技术取舍很感兴趣,想知道团队认真考虑过、却最终放弃的技术方案是什么。

混元团队表示,光是决定模型该怎样回看前文,他们就在两套方案之间犹豫了很久。

在同样的缓存空间里,一套方案能让模型答得更好,代价是生成答案时更吃算力;另一套方案虽然便宜,但效果差了点。后来引入了DeepSeek的稀疏注意力机制,让模型回看前文时能够有选择地抓重点,他们才选定原先嫌贵的那套方案。

姚顺雨曾说,选数据要有好的判断力。于是社区里有人追问,怎样才知道一批数据够好?

混元团队回答,写代码和做别的事,各有各的标准。数据无论交给专家还是交给AI,都得设计、清洗,最后拿去做实验。连实验拿了高分,有时也得追问一句,这分是怎么来的。

在谈到强化学习中的奖励作弊时,混元团队就举了个例子:给智能体留着上网的门,它就有可能直接去搜答案,跳过本该自己完成的解题过程。

研究员得先堵上这条捷径,才知道这一轮训练有没有让它长本事。

这场问答所在的Reddit社区叫r/LocalLLaMA,聚集了一批喜欢在自己电脑上跑模型的人。他们有时会提醒混元团队,家里的显卡和腾讯机房里的显卡,干起活来可不一样。

有网友研究了Hy4 flash、千问和DeepSeek的参数规格,发现了一个有意思的地方:相比另外两家的模型,flash每生成一个词元,需要动用的参数比例明显更高。

他想知道,混元能不能把这个比例再降一些,在尽量保留模型能力的同时,提高运行速度?

另一位网友的设想更加大胆:做一个拥有2000亿参数的模型,每次计算却只动用其中30亿个。在他看来,这样的模型或许既聪明,跑起来又快。

混元团队却对这种做法有所保留,有位研究员表示,在数据中心,减少模型的激活参数量,未必能让GPU处理更多的请求。如果显卡的算力本来就没有用满,还不如多动用一些参数,在保持推理吞吐量的同时,提高模型能力。

最初提出问题的网友又回来了。他指出,自己关心的是模型在个人设备上的运行速度。例如在AMD Strix Halo、英伟达DGX Spark这类设备上,内存带宽相对有限,每次计算需要读取的参数越多,模型生成文字的速度就越容易受到拖累。

研究员认可了这个区别。他表示,混元在开发端侧模型时,会采用不同的设计方案,让模型架构与个人设备的硬件更加匹配。

为了跑flash,已经有人在考虑给家里添个服务器机柜了。还有人希望腾讯能推出一款24GB显存就能运行的模型,团队表示已经有了相关计划。此外,更小的Hy4-mini也已列入混元的研发计划。

把权重下载到电脑上,还得有软件能让它顺利运行。有网友想继续用自己熟悉的本地推理工具llama.cpp。团队表示,正在为混元适配llama.cpp,也在和其他推理工具的开发社区合作。

11月20日,腾讯开放Hy4的模型权重,同步公布了安全评估报告。隔天就有人拿着报告来问:模型需要防范危险的网络操作,可安全工程师在调查入侵、分析恶意软件时,也可能用到相似的技术。他们的正当请求会不会一起被拒绝?

混元团队表示,根据他们的评估,Hy4的漏洞发现能力很强,漏洞利用能力则相对较弱。在回答另一位用户关于安全调优的提问时,团队也承认,减少模型对这类正当请求的误拒,仍是接下来需要改进的方向。

社区很关心腾讯会不会一直开源。有人问,如果有一天腾讯做出了全世界最强的AI,还愿不愿意公开模型权重?混元团队的回答留有余地,只确认现阶段会继续走开源路线。

关于下一代混元的研发,团队也透露了一些进展。

腾讯已经让Hy4借助一套名为Hyra 2.0的科研智能体框架,优化小模型的预训练系统,并自主训练出了一个在多项评测中表现更好的小模型。

不过,按照混元团队的说法,这一轮提升主要来自底层吞吐量的优化,也就是让机器在相同时间内多干一些。至于哪种训练方案更值得尝试,模型自己的判断力还差点火候。

目前,团队正在开发下一版Hyra 3.0。

聊完了这些技术问题,研究员们也谈起了自己对未来大模型的愿望。

那位此前把训练比作押上全部筹码的研究员说,自己热爱美食。他希望有一天,AI能发明一道全新的菜,还能保证按它的方子做出来,正合自己的口味。

编辑、整理|袁心玥

本文由人人都是产品经理作者【字母榜】,微信公众号:【字母AI】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自 Pixabay,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!