当AI模型成为通用基础设施，差异化竞争的关键转向了外壳与上下文。Replit团队通过三层优化体系（模型/harness/context）构建出独特的持续学习引擎，其ViBench评测框架与Telescope聚类系统颠覆了传统AI评估逻辑。本文深度解析这套将用户真实需求转化为自动优化动力的方法论，揭示AI产品进化的底层密码。

一说到「让 AI 持续变强」，几乎所有人的第一反应都是同一件事：训练模型、调权重（fine-tune，拿数据把模型再练一练）。Replit 的 AI 负责人 Michele Catasta 写了一篇关于 agent「持续学习」的文章，一上来就戳破了一个不太方便说的事实——

今天生产环境里绝大多数的 agent，用的都是别人家闭源的前沿模型（比如 Fable 5、GPT 5.6）。权重不是你的，你压根没法去 fine-tune 它。

这句话我读完愣了一下，因为它一下把「持续学习」这个词，从大厂的专利，变回了每个 agent 开发者都能干的事。他说，一个 agent 系统其实能在三层上变强：模型、harness（外壳，就是包着模型的那套代码、工具和指令）、context（上下文，就是它记得的关于你的一切）。而后面这两层，是完完全全在你自己手里的。

模型是租来的、锁着的；真正能复利的，是你自己拥有的那两层

这话你要是眼熟——对，它正好接上我这一个月绕来绕去的那条线。当所有人租的都是同一个大脑，你唯一能拉开差距、还能一天天复利的，就是你亲手搭在这个大脑周围的东西：那套外壳，和它积累下来的记忆。Replit 这一年，其实就是把「systematize your alpha」这句话，在一个 AI 产品里真刀真枪地做了一遍。

整套系统：线下 benchmark(用户在意什么) + 线上 A/B 和聚类(规模上什么在坏)→ 优化循环 → 发布更好的 agent

他这套东西，一句话概括就是上面这张图：一边是发布前的线下评测，一边是发布后盯着真实用户的 A/B 和 trace，两边的信号，都汇进中间那个「反思-写码-审查」的优化循环，滚出一个更好的 agent，再循环回去。他自己那句话点得挺好——每一块单独拿出来都会漏，可拼在一起，它就是一台引擎。下面我挑几段最有意思的拆开讲。

为什么 vibe coding 需要一把新尺子

先得说清他们要量的东西有多不一样。Replit Agent 的用户，大多是「我有个想法」——用大白话describe一个目标，没有代码仓库、没有测试、也没指定用什么框架，然后就等着 agent 把它变成一个能用的 app。可能是个网站、一套幻灯片、一个手机应用。

这些用户（他管叫 vibe coder）根本不看代码 diff、也不看测试输出。对他们来说，成功的定义简单到有点粗暴：这个 app，点着点着，能用，就行。

这就让评测（evaluation）这件事变味了。传统的 agent 代码评测，像 SWE-bench、Terminal-Bench，都是在一个固定的、可重复的沙盒里给代码打分——路由、函数签名、测试全都是现成的。可 vibe coding 里，是 agent 自己把技术栈、数据库、路由、组件、交互全都发明出来的。于是就出现了一个「功能正确性」的鸿沟：你的 agent 可以通过一个代码评测里的每一条局部约束，却依然做出一个「不干用户要它干的事」的 app。

所以他们干脆自己造了一把新尺子，叫 ViBench，专门量一件事：agent 建出来的这个 app，到底满不满足需求？它从一份大白话写的需求文档（PRD，从匿名的真实生产数据里扒出来的）出发，让 agent 从零建一个能跑的 app，然后——这段我特别喜欢——派另一个「评测 agent」拿着 Playwright（一个能自动操作网页的工具），在这个它从没见过、也不知道内部结构的 app 里，像个 QA 一样一点一点点，边点边搞懂它是怎么建的，再对着需求一条条验。

派一个它从没见过这 app 的评测 agent，进去一通点，看到底干不干用户要的事

跑下来有两个发现挺有嚼头。一个是，在代码刷题榜上分数很高的模型，不一定就能把一整个 app 建好，开源模型尤其明显。另一个更有意思：大多数模型，在「续写自己刚写的代码」时，反而会变差——因为错误会一路滚雪球。

这两条合起来，给了他们一座更值得爬的山：目标不是「写出能过测试的代码」，而是「建出一个能扛住用户下一句话的 app」。

光有分数会骗你，得盯真实用户

他们很信线下评测，但也很清楚它不是唯一的裁判。他们见过太多次，一个 agent 更新在受控环境里看着挺好，一上线就把真实用户的行为搞回退了。真实用户是不按剧本走的——他们会中途弃坑、会改主意、会用你没想到的方式组合功能，然后踩中一堆你根本没想到要测的坑。

所以他们几乎给每一个「会影响 agent 行为」的改动都做 A/B 测试（同一时间让一部分用户用新版、一部分用旧版，对比效果）。但他说了一句我觉得特别诚实的话：A/B 的结果，其实很难读。运行时长变长了，是 agent 干了更多有用的活，还是它卡住了?成本降了，是效率高了，还是它悄悄不干某件有价值的事了?情绪分掉了，到底是哪个场景回退了?

A/B 只能告诉你「production 的行为动了」，动的原因得靠另一套系统去解释——他们管它叫 Telescope。规模大到没有任何一个工程师能读完每一条 trace（一次完整会话的全过程记录），于是 Telescope 把海量失败自动聚类，归成一个个「问题簇」。它的目标不只是数失败，而是——把那些藏在明面上、却没人注意到的失败，给挖出来。

后面有个特别具体的例子。有一次，就是一个「小、但在慢慢长大」的 Telescope 簇：在一长串「冷启动」场景里，环境配置在悄无声息地退化。这种事在总的指标上根本看不出来，可聚类把这个模式抓住了。

用 agent，去改 agent

测量这套建起来之后，瓶颈就挪了地方——ViBench、A/B、Telescope 能告诉你什么失败了、在哪失败、多频繁，可你还是得把这些证据，变成一个像样的修法。

于是他们上了一个「自我改进循环」。原则简单得让人会心一笑：既然 agent 能拿来建软件，那它就该也能拿来改这个 agent 自己。

每一轮，它先去读生产日志、trace 簇、最近的失败，找出一个值得追的假设，然后动手写一个候选方案，开一个带着完整推理的 draft PR（草稿版代码提交），再拿 ViBench、A/B、历史数据去量一遍，最后给出建议：上线、再改、还是丢掉。回到刚才那个冷启动的例子——循环读了受影响的会话轨迹，提了个补丁，还顺手加了个回归测试，跑一遍 ViBench 确认没把「正常路径」搞坏;工程师看完证据、点头、当天就推上了生产。上线之后，情绪分回来了，卡住的用户被解开了。

但请注意，上线这一步，从来不是自动的。循环能把证据和第一版实现都备好，但按下发布键、并且为它负责的，还是工程师。

机器负责爬，但山是你选的

这是全篇我觉得最要紧的一段，也正是它跟我最近那些文章咬得最紧的地方。他说，这套东西里很大一部分确实能自动跑：聚类失败、提假设、写候选、跑评测、攒证据。但有几道门，人还牢牢守着——

选哪个假设值得追。系统一晚上能给你抛出一千个失败，但决定「哪个问题值得占用这一整夜的算力」的，是人。怎么改架构，是把这条路磨顺、还是改 agent 的行为、还是把整个界面重设计，这是产品和工程的判断。

还有最关键的一条，他叫它 eval curation（评测的甄选与打磨）——这不是行政杂活，它决定了 agent 去爬哪一座山。如果你的评测奖励了错的行为，这个优化循环，就会忠实地、一路向着错误的方向优化过去。

机器负责飞快地往上爬；可爬哪座山，得有个人在山脚下指

我盯着这句话看了很久。你想想这个画面：你造了一台无比高效的自动优化机器，它能连夜、大规模地朝着你指的方向狂奔——可到底往哪儿跑，取决于你有没有把那把尺子定对。机器越快、越自动，那把尺子要是歪了一点点，就越危险。

我自己的一点想法

把这一整篇拧干，我觉得它给做 AI 产品的人，一个特别清醒的坐标。当你搭在一个前沿模型上面，你要认清一件事：那个大脑是租来的，而且你的对手租的是同一个。你唯一真正拥有、也唯一能一天天复利下去的，是它周围那两层——你给它搭的外壳，和它替你记住的一切。别把心气全押在「我用了哪个模型」上，那一层根本不归你。

但我也想诚实地补两句保留。这毕竟是 Replit 总裁写的公司博客，结尾就挂着「我在招人，来找我」——所以它是一个打磨得很漂亮的最佳案例，那些真实的狼狈（这个自我改进循环多少次提出来的是垃圾方案、工程师花多少时间在给它擦屁股）都被抹平了。

还有一层更绕、他自己其实点到了、但没往深里说的：这套系统本质是一台「把你爬山的速度放大 N 倍」的机器。可他也承认，山是人选的（eval 得人来 curate）。这里藏着一个 Goodhart 式的风险——ViBench 量的是「app 符不符合那份 PRD」，可「符合需求文档」和「用户真的爽、这 app 真的好」并不是一回事。你的优化循环越自动、越快，一把「差一点点」的尺子就越致命，因为它会连夜、以规模，冲向那个「差不多对、但不完全对」的目标。而唯一能给这台机器踩刹车的，恰恰是那个没法自动化、也没法 scale 的东西——一个人对「到底什么才叫更好」的判断。

所以对大多数看这篇的人，真正能拿走的，其实不是「去造一个 Telescope」——那套基建大部分人搭不起。能拿走的是那个心智模型：模型你不拥有，就别在那儿使劲;把功夫下在你拥有的外壳和上下文上，一天天复利;测量要盯用户真正体验到的东西，而不是最好打分的东西;可以放手让 agent 去改 agent，但你的手，得一直按在那把尺子和那个发布键上。

说到底，就算有一天这台自我改进的机器能把一切都自己跑了，最后剩下的、也最值钱的那个动作，还是没变——决定它该往哪座山上爬。