当AI一本正经地编造出剪映并不存在的'AI转绘'功能时，产品经理的信任被彻底打破。这篇文章揭秘了一个视频剪辑工具团队如何用两周时间打造竞品分析Agent的全过程——从最初的结构设计、prompt调优到实际应用效果，再到那个令人警醒的'幻觉功能'时刻。作者最终得出的结论犀利而实用：我们可以信任AI搭建的分析框架，但永远需要对具体内容保持警惕。

那天开会前一晚，我坐在工位上盯着空白文档，手头一份需求文档没写完，第二天要用的竞品分析还没动。

那一刻我做了一个决定：这活我不干了，我让AI干。

后来花了大概两周时间，我搭了一个能自己跑竞品分析的agent。它确实救了我很多时间。

直到有一天，它一本正经地告诉我，剪映有一个叫”AI转绘”的功能。

我打开剪映去找。

没有。

翻遍所有菜单。还是没有。

那一刻我意识到——我之前对AI的所有信任假设，可能都搭错了地方。

这篇文章想说的就是这件事。从我怎么搭、怎么被骗、到最后我用一句话概括我现在的态度：我信任它的结构，但不再信任它的内容。

先说为什么要搭这个东西

我们团队做视频剪辑工具方向。这个赛道竞品多——剪映、必剪、醒图，还有一堆叫不上名字但用户量不小的产品。

每次开会要聊到某个竞品，总得有人在会前把它摸一遍。这个活通常落在产品经理身上，也就是落在我身上。

流程基本固定：下载产品 → 一个个点功能 → 翻应用商店评论 → 整理成文档。快的话两三个小时，复杂的半天就没了。

这件事最让我难受的地方是——它对我的专业判断要求不高，但对我的时间和精力消耗很大。

说白了，是执行不是思考。

但你又不能跳过，因为没有这个基础，后面所有讨论都没根基。

我那时候就在想：这活该让机器干。

不是说让AI帮我判断产品好坏——这个判断我不放心交出去，也不该交出去。我只是想把”把信息收集整理成结构化文档”这一段，从我的时间里剥出去。

搭这玩意比我想的难

我用的是Cherry Studio，没有特别理由，就是上手成本对我这种非工程师产品经理友好。

但工具选完之后，难的部分才开始。

做产品的人都有一个职业病——遇到任何”要做出一个东西”的需求，脑子里自动开始走流程：用户是谁，任务是什么，输出是什么格式，边界在哪里。

搭agent这次，我把自己当成需求方，把AI当成开发，自己又同时是产品经理。

任务清晰：给一个视频剪辑工具的名字，输出一份可以直接用于会议讨论的产品体验报告。

结构上我定了四个固定维度——核心功能、AI相关功能单独列、用户评价高频关键词、版本迭代节奏。这四个是我们开会最常被问到的。

输出格式上我加了一个小细节，事后证明特别关键：时间戳。每一条信息后面要标注来源时间。

为什么这个细节重要？因为这个行业迭代太快，三个月前的功能描述放到今天可能已经过时。有了时间戳，看报告的人能自己判断这条信息还能不能信。

边界是我反复想的部分。我当时给自己划了一条线：

agent负责收集和整理，判断和结论由人来做。

它告诉我剪映有什么功能、用户在说什么，但”这个功能做得好不好、这个方向值不值得参考”——这些话不该从agent嘴里出来。

这条线，看起来很合理。

后面你会看到，它其实不够。

调prompt这件事就是在做需求迭代

第一版跑出来的东西格式完全乱掉，功能列表和用户评价混在一段话里，像一段流水账。我当时的反应是：这玩意儿在敷衍我。

第二版加了明确的格式要求，指定Markdown输出，每个维度成块。好一点，但信息来源全混着——官网的、应用商店的、测评文章的，全堆一起。

第三版专门加了来源标注的要求，并且明确告诉它：应用商店评论和官方介绍要分开放，不能混。这一版基本能用了。

前前后后调了四五版。

这个过程我现在回想起来挺有意思——它本质上就是做需求迭代。需求方是我，开发是AI，我自己又是用户。

做了这么多年产品，我第一次发现，原来需求文档清不清楚，AI比人还诚实。它会原原本本地把你的不清楚还给你，不会因为你是产品经理就给你面子。

第一次上会，同事说了五个字。那次开会要聊剪映的AI功能布局。我提前让agent跑了一遍。

报告出来，我自己先看：格式对、维度齐、时间戳每条都在、AI功能单独成块、用户评价正负面分开。

我把它发到群里，说大家开会前可以先看一眼。

然后我等着。

我们团队有个同事，对新东西天然持怀疑态度。不是反对，是不太会主动表达热情。他看完之后回了五个字：

“这东西值了。”

我看到这条消息，松了一口气。

不是因为他夸了我。是因为他那种人不会随便说”不错”。他说”值了”，意思是它真的省了他的事。

那次会后我发现一个没预料到的效果——讨论效率明显高了。

以前开会的前十分钟，我们经常在做一件事：对齐”这个产品现在有什么功能”。

这次直接跳过了。

上来就在讨论”这个方向我们怎么看”。

我那一刻意识到一件事：

我们团队以前不是分析能力不够，是在分析之前消耗了太多精力在信息整理上，等真到判断的时候，人已经累了。

agent把这个前置消耗拿掉了，后面的部分反而跑得更顺。

然后，它一本正经地骗了我

大概用了两三周之后，有一次我让它跑一次剪映的完整功能细节，想做一个比较全面的版本。

报告出来。功能列表很长，AI功能那块列了不少。

其中有一条：AI转绘。

描述写得有模有样——可以把视频转换成特定画风，支持多种风格，列了使用场景。

我当时没有立刻起疑心。因为这个功能听起来太合理了——剪映在AI方向一直在跑，转绘这种功能逻辑上完全说得通。

然后我打开剪映，找了一圈。没有。

再找一遍。还是没有。

翻遍所有菜单，问了同事。确认：

剪映没有这个功能。

我的第一反应不是愤怒，是有点懵。

因为agent描述这个功能的方式太自然了。没有任何犹豫，没有”可能”或者”据说”，就是陈述事实一样说它存在。

后来我大概想明白了它为什么会这样。

AI转绘这个功能在视频剪辑赛道是存在的——只不过不是剪映，是别的产品。agent在处理”剪映AI功能”这个问题的时候，从训练数据里把相关信息都拉过来，在某个环节把不同产品的功能混在了一起，输出的时候又没有任何迟疑，直接写进去了。

它不是在骗我。它是不知道自己在骗我。

这件事让我重新想了一遍我当初划的那条线。

那条线，我划错了

我之前说：agent负责收集整理，判断由人来做。

但我忽略了一件事——收集这个动作本身，也需要被核查。

我以为信息收集是客观的、中立的，只有判断才需要人介入。

但事实是，agent在”收集”的时候就已经在做某种筛选和拼接了。而这个过程它不会告诉你，它只会给你一个看起来完整的结果。

完整、自信、有结构。

而且越完整、越自信、越有结构，你越容易相信。

所以那条线要往前移：

不只是”判断由人来做”，而是涉及具体功能是否存在这类可核查的事实，必须有人去对照实物确认。

agent给你的是一个起点，不是终点。

这个道理写出来很短。但你必须被它骗过一次才会真的信。

我现在是怎么用它的

用到今天，我对这个agent的态度可以用一句话概括：

我信任它的结构，不再信任它的内容。

它帮我搭起来的那个框架——固定维度、时间戳、来源分类——这些是真实有用的。每次跑完，我拿到的不是一堆散装信息，而是一个可以直接拿去讨论的底稿。

这个底稿不是最终答案，是一个让我们可以更快进入实质讨论的跳板。

但具体的内容，我现在都会过一遍。不是逐字核查，而是对那些”听起来很新、很具体”的功能描述保持警惕。

越是具体的东西，越有可能是它编的。

这条经验有点反直觉，但被坑过一次之后，我宁愿保守一点。

如果让我用一个比喻——

它像一个手脚很快、但不太严谨的实习生。

你可以让它先做一版，但你不能把它的报告直接交出去。你得过一遍，改掉明显不对的地方，再用。

这个比喻可能不太好听，但准确。

写在最后

这两年和AI共事，让我对”信任”这件事有了新的理解。

过去我们用一个工具，要么信，要么不信。Excel不会骗你，搜索引擎不会编功能。

但agent不一样。它在”看起来很有用”和”实际上在胡说”之间，有一片巨大的灰色地带。 而且越用越好用的部分，恰恰会让你慢慢放下警惕。

所以做产品的人，未来几年最值钱的能力之一可能是：

搞清楚哪些环节可以放手交给AI，哪些环节必须自己最后看一眼。

这个能力没有教程，没有最佳实践。它只能靠被骗一次、长一次心眼慢慢攒出来。

我那次被剪映”AI转绘”骗的瞬间，就是我攒第一颗心眼的瞬间。

你呢？你被AI”一本正经胡说”过吗？最后是怎么发现的？