年入过亿美金的创始人真实分享:所谓“AI 套壳”,其实是个误会

0 评论 177 浏览 0 收藏 29 分钟

在 Gamma 输入一句把笔记做成二十页演示文稿,背后是一分钟内十几个模型来回上百次调用。联合创始人 Jon Noronha 拆解 agent harness:为什么好不好看没法打分,护城河是模型还是外面那层工程,这个方向还剩下哪些空位。

你有没有想过,在 Gamma 里输入一句“帮我把这些笔记做成 20 页的演示文稿”,后面到底发生了什么?答案不是某一个模型接过去写完,而是在大约一分钟里,十几个不同的模型被叫起来,来回干了上百次活,最后才把一份成品交到你手上。

这是 Gamma 联合创始人兼首席产品官 Jon Noronha 在 Greg Isenberg 的 The Startup Ideas Podcast 里讲的。Gamma 是一个做演示文稿、文档、网页和社交图片的 AI 工具,2020 年成立,2023 年开始火起来,据 Greg 说年收入已经到了一亿美元。今年它把整个产品重做成了一个 agent(智能体)。Jon 把这件事拆开给大家看:agent harness 到底是什么,一份演示文稿背后有多少步,为什么“好不好看”没法靠打分来判断,以及这个方向上还有哪些空位。我挑了其中我觉得最有用的几条线,每一节先讲他的做法和想法,再写我自己的判断。

agent harness 是什么,看 Claude Code 就能明白

要说清楚 harness,得先把这个词拆成两半。agent 指的是一个更高层的循环:让大模型自己去干活,检查自己干得对不对,需要的时候调用工具,一轮一轮做下去,直到做出结果。早年的 AI 产品不是这样的。Gamma 最早只是一次一次单独调用模型,让它写一页幻灯片,或者列一份大纲,再由工程师手工把这些调用串成固定的流程,比如“生成一份 10 页的演示文稿”。这一两年最大的变化,是最强的 AI 产品都不再手工串了,而是让一个模型在循环里自己安排步骤。

harness 原意是马具,这里指 agent 干活时用到的全部工具:在环境里执行操作的工具,检查自己成果的工具,还有向用户问清楚偏好的工具。Jon 举的例子是 Claude Code。它是一个写代码的 harness,教 agent 怎么翻遍你电脑里的文件,怎么跑测试,还用规则约束它,比如某些情况下先进入计划模式,改完代码要把测试跑一遍。Gamma 不写代码,它是一个做创意的 harness,所以教给 agent 的东西不一样:要懂你的审美,要帮你理出一个故事,生成图片以后还要知道图片摆上去好不好看。

说到这里,绕不开一个说法:harness 是不是新一代的“GPT wrapper”(套壳产品)。Greg 的看法是,harness 就是新的套壳。Jon 觉得里面有几分道理,但他一直不太认同“套壳”这个叫法,因为它暗示九成的功夫在大模型,外面只是薄薄一层。他的看法正好反过来:各家大模型的核心能力其实很接近,把模型变成产品的那点魔法,几乎都在 harness 里。连 OpenAI 和 Anthropic 自己,也把大量精力花在做 harness 上。

我认为这个反过来的看法很值得想一想。过去讲一个 AI 产品,第一句话总是“它用的是哪个模型”,现在更该问的是“它围着模型搭了什么”。模型变成了可以随时换的零件,Jon 自己就是这么用的,新模型一发布,一小时内就拿去试。真正拉开差距的,是那一整套让模型能把事做完、做对的东西。那么这套东西到底有多重,看 Gamma 一次生成的过程就知道了。

一份演示文稿的背后,有 20 个模型、200 次调用

看一个最常见的情形:用户贴进来一堆乱七八糟的笔记,或者一份 PDF,让 Gamma 做成 20 页的演示文稿。提示一发出去,Gamma 先在云端开一台完整的电脑,这叫 agent sandbox(沙盒),agent 在里面拿到用户的提示、上传的文件和其他背景信息,再逐个任务做下去。

它做的第一件事,往往是弄清楚还缺什么信息。所以你会先看到一个表单,问你几个问题:这份演示文稿是给谁看的,是学校里的教学,还是给成年人,还是工作汇报。必要时它还会去 Notion、Slack、Linear 这些工具里把相关内容拉进来。光是这头十秒,就已经调用了三四个模型,贵的便宜的都有。接着是写大纲,再选模板。Gamma 有几千个不同风格的模板,要用视觉模型判断哪一个适合你,用向量搜索在这几千个里找,你说想要红色或蓝色,还要接着改。到这一步演示文稿还没开始做,已经有三四十次调用、四五个模型。

点下生成以后,写字、排版、做图一起上。Gamma 要生成大量图片,有的只是装饰,有的是图表、示意图和信息图,这些调用是并行跑的,一个一个来,用户早就走了。大约一分钟,整份演示文稿在你眼前流出来,这时候累计大概 100 次调用,用过 10 到 15 个模型。

然后才是最容易被忽略的一段。Gamma 不会直接把初稿给你,而是让一个视觉模型把每一页都看一遍,找毛病:文字没对齐,人物的头被图片切掉了,对比度不对,边距没留好。一页简单的幻灯片里,人眼一下就能看出来的问题多得惊人,还有些问题要设计师的眼睛才看得出来。找出问题以后,系统修一轮,再查,再修,好几轮之后才交给你。前后加起来,大约 20 个模型,200 次调用,到你手上只是一份成品。

最后这套检查还有一个细节:市面上的现成模型做这件事,效果一直不理想,所以 Gamma 开始自己做专门用来判断一页好不好的模型。我从这里看到的是,生成变得便宜以后,难的就是“发现哪里错了”。一次调用就能写出一页幻灯片,但要让 20 页都过得去,靠的是让模型自己挑自己的毛病,再改。这一步,用户看不见,却是做出来的东西能不能直接用的关键。既然这么重,什么样的问题才值得自己搭一个 harness?

什么样的问题,值得自己做一个 harness

如果明天要做一个垂直领域的 agent harness,该从哪里下手?Jon 的经验是,当问题和单纯写代码差别很大的时候,自己做一个 harness 最有价值。差别在两点:第一,这件事很主观,要做很多判断,两个人对“好”的看法会不一样,所以需要人在循环里;第二,用的人在乎输出的细节。

拿游戏来说,很多人在用 Claude Code 做游戏,他看好那种“个人电子游戏”,自己一边说一边让它长出来。写代码的 agent 做游戏已经很强了,但它不擅长去问玩家想让游戏往哪里走。像 Roblox 和 Minecraft 里那样,很多人是在给自己塑造一个世界,而且多半不是程序员。他想象这个 harness 本身就运行在一个 3D 世界里。

要怎么形成自己的优势?Jon 讲了三种。一种是你对世界有一个很独特的看法,而且比别人走得快,别人抄你的时候,抄的是你三个月前的样子。一种是你手里有别人没有的数据,比如你已经有一个成功的平台。第三种他强调了好几次:不一定是软件。软件已经很挤,是个吓人的市场,硬件、实体服务、各种真实世界的生意,都可以把 AI 用进去,比如一个人给你按摩,一家餐厅给你上菜,这里面有真实的价值交换。他说自己是做软件的,对这些不熟,但如果不做软件,他会往这个方向想。至于法律和医疗,已经有很多人在做 harness,他自己今天不会再去做法律方向,因为太挤了。

回到怎么设计的问题,Jon 给了一个很朴素的答案:harness 就是一堆让 agent 完成任务的工具,所以要问的是,哪些独特的工具是我已经有的,或者我能造出来,而且别人还没有的。再往前一步,问问自己,按我的人生经历、我所处的位置、我认识的人,我最适合做什么。

我认为这套问法比“哪个行业有机会”实用得多。行业是别人看得见的,大家会一起涌进去,而工具和经历是你自己的。同样是做一个 agent,懂 HVAC(暖通空调)维修的人知道派单卡在哪里,懂球鞋的人知道什么样的图片会让人觉得是假货,这些细节写进 harness 里,才是别人抄不走的东西。这些细节,很大一部分和“好不好”的判断有关,也就是下面要说的品味。

AI 味到底是什么,为什么靠打分打不出来

品味的反面,是 Jon 这一年一直在用的一个词,叫 AI smell,AI 味。意思是人用 AI 做东西,常常一眼就能看出来。写作上最明显:一封邮件来了,你觉得这个词他平时不会用,也不是他说话的样子。图片上现在也一样,他在旧金山走在街上,每家咖啡馆、每家餐厅贴的海报,他都能认出是 Nano Banana 或者 GPT Image 画的,因为这类东西他每天都在看。而且他觉得,越来越多的普通人也开始认得这种味道了。

Gamma 自己就是这件事的受害者。早期用的人少,你用 Gamma 做出来的东西很出挑,等大家都用了,所有东西都开始长得像 Gamma,没人愿意被认出是用 AI 做的。所以这次大改版的一个核心目标,是把创意风格的范围迅速拉开。Jon 说,AI 味不会消失,但可以有一千种,而不是一种,让用户跳到不同的小圈子里去。他用服装做类比:衣服也有味道,你一眼能认出那件 H&M 的衬衫,现在流行宽松牛仔裤,过阵子又会变回紧身的。人在不同的外观之间循环,工具也要跟上这个循环。为此,Gamma 做了一套自动系统,不断轮换不同的创意外观,Jon 说这本身也是一种 harness。

那能不能做一个“这看起来太普通了”的评测?Jon 先解释了什么是 eval(评测):可以理解成软件测试,一个写死的问题,加上一种判断答案的办法。比如用户说“做一个关于老虎的演示文稿”,agent 应该先问一句是给孩子看还是给成年人看,因为这是两种完全不同的演示文稿。把很多这样的题凑在一起,就成了一套基准,可以说“B 模型比 A 模型高 3%”。每次大模型公司发新模型,也是拿一堆这样的分数来讲。

但在创意领域,评测遇到了难处。“这个好不好看”带着品味,“这像不像我”带着个人,没有一个客观答案。Gamma 做了一些代替指标,比如你给了品牌规范,它有没有照着做,这是客观问题,可以测。但他们从来不只靠评测。Jon 认为这里藏着一个竞争的角度:创始人真正能带进自己领域的,是品味。你自己知道什么好看,也在和用户聊,用户也有自己的判断。越是没法验证的领域,比如服装,越有空间留给不同的看法。他觉得做服装设计应该有一百个不同的 harness,Nike 的和 Adidas 的就该不一样,因为它们对“好”的理解不同。

对 Gamma 来说,用户五花八门,所以更多靠 A/B 测试,也就是同时跑两个模型或者两套提示,在很大的用户群里看哪个表现更好。他们看的指标有几个:生成以后用户花多少时间修改,会不会分享或者导出,还有没有迹象显示用户投入了时间。他最喜欢的指标是付费,因为这个最难作假,人只有真的觉得有价值才会掏钱。有时也会看一周后、一个月后还有没有人回来,这个慢一些,同样难作假。

我认为这一段的意思是,品味和实验不是对立的,它们是两条腿。品味决定你往哪个方向试,数据告诉你试得对不对。只靠评测,会把一切压成可以打分的东西,做出来的东西越来越像;只靠品味,又没法知道一千个不同的用户到底怎么看。Gamma 的办法是,先有一个明确的看法,再用付费和留存这种难作假的信号去验证它。

站在别人的模型上做产品,怎么做才不吃亏

看法有了,接下来是用什么来搭。Gamma 的东西建在别人的模型上,对创业的人有什么建议?Jon 的回答很干脆:这没什么可羞愧的。Gamma 从一开始就在 Anthropic、OpenAI 和 Google 的模型之间来回换。外面一直有一种声音,说你必须自己训练、自己微调,不然就没有优势。他觉得对早期创业公司来说这不现实。一是训练模型花的钱太多,二是外面的模型一直在变好,他很少想去和这些模型正面竞争。

在他看来,早期最该打的是另一场仗:先攒下真实的用量。有了用量以后,事情会变,Gamma 现在已经在做一些很有收获的微调,用来降低成本,有些地方还能做更多个性化。他们还发现一些大模型做得不好的专门任务,比如前面说的判断一页幻灯片好不好,所以自己在做研究。但这是走到一定阶段以后的事,早期还是用现成的好模型。

至于闭源和开源,Jon 说云端闭源模型被低估了。开源模型有很多关注和热情,但看钱流向哪里,都流向了闭源模型,因为它们真的很好,很多事已经替你做好了。对做应用的人来说,最好的一点是闭源模型之间竞争很激烈。如果 Anthropic 一家遥遥领先,情况就不同了,但现在 Anthropic、OpenAI 和 Google 彼此只差几个月,大家互相逼着往前跑,应用层的人最受益。

再说技术栈。Jon 曾经提到,自己对 AI 技术栈有多浅感到意外,现在还是这样,他的说法是“广而浅”:用的模型很多,但用法都比较简单。他们靠提示工程走了很远,还有 context engineering(上下文工程),也就是给模型提供合适的背景信息。他觉得这几乎就是整场游戏:能不能从用户那里拿到对的信息,能不能把 AI 的输出用对的方式交给用户,能不能把这一切提炼成让模型的活儿变得很轻松的东西。活儿变轻松了,随便哪个现成模型都能给出好结果。所以在他们那里,98% 的价值来自提示,因为提示简单,也容易搬到别的模型上。微调只是在这之上的优化,用来控制成本,或者再挤出 2%、3% 的质量。他还顺便说了一句,现在没有人手写提示了,都是 Claude 帮你写的。

新模型发布以后怎么办?他们通常在一小时之内就接进来,前提是这个模型有可能好用。Gamma 的 harness 里有各种各样的任务,有的用最强的大模型,有的用 Haiku 或 Gemini Flash 这类小而快的,有的用更小的 GPT 模型。每出一个新模型,他都想看看能不能补上这条“性价比的前沿线”。就在录这期节目的前一天,Claude Haiku 5.5 刚发布,他在去录音的路上就启动了八个实验,节目一结束,准备去看结果,大概会砍掉四个。这些实验测的是改一页幻灯片里的小地方,修改大纲,这类快而便宜的活。

这是整场里最实用的一个做法:先把任务拆开,再给每一块配最合适的模型。大模型不是用来堆的,是用来精确分配的。能做到“一小时开测,两小时看数据”,前提是有一个足够大的用户群,这也是 Jon 一直说要先攒用量的原因。有了用量,试新模型的成本就很低,每一次换模型都是一次便宜的升级。

最让他意外的实验结果,是”麻烦”反而有用

说到试,Gamma 同时跑着十到二十个实验,很多不到一天就有结果。Greg 问他有没有哪个结果让他意外。Jon 讲了几天前刚做完的一个:fast mode(快速模式)。

fast mode 的意思是跳过前面讲的那些环节,比如先给你看大纲、先问你几个问题。假设很自然:去掉麻烦,人们就能更快走到那个“哇,好用”的时刻。Jon 自己很希望这个实验赢,但它没有赢。结果是,那些慢下来的环节,比如审大纲、选故事的大致走向、回答前面的问题,让用户的满意度高得多。这些人觉得自己在作品里投入了东西,之后做的事更多,而且付费的比例也更高。他把这叫作“好的麻烦”,good friction。

实验也不只有“成”和“不成”两种答案,往里挖一点还有别的。Gamma 后来给手机上的新用户上线了一个 fast mode 版本,因为在手机上没人愿意打一堆字回答问题。

这种对实验的热爱,来自 Jon 在 Optimizely 的经历,那是一家专门做 A/B 测试的公司。他说,做实验这件事,最后拼的就是你上场打击的次数,跟销售、约会差不多,是个数字游戏,不要指望一次大测试能让整个生意突然打开。Greg 接着说,第一个实验多半不会成功,就像练肌肉,要每天去健身房,两个月后才可能看到腹肌,中间会经过一段“悲伤的低谷”(trough of sorrow)。发社交媒体、写博客、发陌生邮件,都有这么一段。两个人都认为,凡是做成的事,都要游过这样一段低谷。

我觉得“好的麻烦”这个结果,对所有做 AI 产品的人是个提醒。AI 产品的直觉是尽量替用户做完,尽量少打扰,Jon 的数据说明,用户在作品里留下一点自己的选择,作品才成了他们的。这和前面说的品味是一个道理:用户要的往往不是最快,而是“这是我做的”的感觉。

还有哪些 harness 值得有人去做

空位在哪里?先看 Jon 自己最想要的,是一个给 Slack 做的 harness。公司里有海量的消息,你总是在想哪些是真的要你处理的。现在最多能把 30 条消息总结成一条,他想要的是一个真的替他管起来的东西,而且能学会他。他想打开任何一条找他的 Slack 线程,就看到已经起草好的第一稿,是他自己会回的那种口气。Greg 问怎么学,靠问卷还是靠观察,Jon 说靠观察,他发过大概十亿条 Slack 消息,应该足够了。他对邮件也不满意,Gmail 里那种“好的,我周四很乐意去看牙医”的快速回复,没有一次是他会说的话。他想要的是一个能在工作中真实地代表他的 agent,这很难,因为它很个人,所以一直没人做成。

另一个例子是买沙发,这是他最近刚买过的。图像模型很擅长告诉你沙发放在你家里是什么样,但它们说不准尺寸,而 68 英寸和 58 英寸的沙发,对一面特定宽度的墙来说,差别很大。他想象的 harness 是这样的:先把沙发渲染到你的房间里,再用传统的程序在画面里画一条线,按像素量出沙发有多长,看大小对不对,不对就让模型调整。在他看来,这是模型公司短期内不会去做的事。它还可以对你说,这张沙发不适合你,Restoration Hardware 有另一张更合适。买沙发是高客单价的事,所以也可以和商家谈分成,Greg 的想法是,对方给你 5% 的佣金,因为你帮他们卖出了更多沙发。

这类产品怎么在和大模型公司的竞争里活下来?Jon 把用户分成了三层。第一层是纯消费者,只想买一张沙发。第二层是“准专业”用户,比如一个兼职做室内设计的人,家里还有两个孩子,按小时收费,这样的人需要工具,会去找最好的,会愿意为此订阅。第三层是真正的专业人士,比如 Restoration Hardware 自己的设计师,他们用的肯定不只是 ChatGPT。他怀疑最能做成长久生意的,是最上面一层、更大的公司。

还有一点是 Gamma 自己的体会:世界很大。Gamma 不到四分之一的收入来自美国,用户分布在咨询、教师、市场、销售、律师等各种岗位,他以前不知道律师也做演示文稿。他的看法是,一家大公司,在某种意义上就是一千个小众叠在一起,所以不用从很大的地方开始,可以只从一个开始,再看相邻的地方能不能做。Greg 补了一句:“先嫁给那个小众,再跟产品约会。”意思是爱上你要服务的人,产品会改很多次,对人的了解不会白费。

最后,Jon 的提醒是,创业是一条漫长又常常孤独的路,所以你必须真的爱你做的东西。他给自己定过一条规矩:这件事自己必须能天天用,也真的相信。这条规矩把很多“无聊的生意”排除在外,但他觉得这样对自己更好。他说,要问自己,每天想花八个小时做什么,而朋友们并不想花那八个小时,从那里出发。

我自己的一点思考

听完这场对话,我最大的感受是,做 AI 产品的重心,正在从模型挪到模型外面。Jon 讲的每一件事,不管是 20 个模型各管一段,还是让 AI 看着每一页幻灯片挑毛病,还是新模型一小时内就接进来试,都是在说:模型是可以换的零件,真正属于你的,是你在它外面搭起来的那一整套。包括工具,包括检查的办法,包括你对什么叫好的看法。

第二点是关于品味。评测能测到的是“有没有照做”,测不到的是“好不好看”和“像不像我”。Jon 的做法是不回避这个问题:先有自己的判断,再用 A/B 测试、付费这些难作假的信号去验证。我认为这对任何做主观领域的人都有用。越是没有标准答案的地方,越没办法靠抄现成的评分表走远,一个人的判断力就成了产品的一部分。

第三点,是他反复提到的“你自己”。做哪个行业,不是看哪里热,而是看你有哪些别人没有的工具,认识哪些人,每天愿意花八个小时做什么。里面有一个我很同意的地方:他自己是做软件的,却一再提醒大家,软件已经很挤,真实世界里的生意,只要把 AI 用进去,还有很多没被重新做过。

如果要用一句话记住这场对话,我会选这一句:模型大家都用得到,能拉开差距的,是你在它外面搭的那些东西。

本文由人人都是产品经理作者【深思圈】,微信公众号:【深思圈】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载

题图来自Unsplash,基于 CC0 协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!