Prompt 写得越好,AI 的短板暴露得越快
AI志愿填报的痛点究竟出在哪里?作者通过178轮对话复盘发现,prompt质量只是冰山一角。从完美示范到典型错误案例,揭秘让AI高效协作的三大黄金法则,更意外发现产品能力边界才是终极瓶颈。当prompt遇上能力天花板,我们究竟该如何决策?

上一篇写完后,我心里一直有个疙瘩:这些 AI 出现的各种问题,会不会其实是我自己 prompt 没写好?
于是我把整个志愿填报过程中,与各个 AI 沟通产生的五份会话记录、约 178 轮提问,发给了 AI 做复盘分析,并又验证测试了一把。结果发现,prompt 只是一方面原因。
我写得好的 prompt 都是什么样
原话:”对了,这是我们最终定下来的志愿范围和顺序,你再帮忙把关一下。我把成绩信息再给一下:今年 26 年的考生……综合分 xxx,位次 xxx,其他我们的一些个人、家庭因素考量期间也有和你讨论过,不知道你还清楚不。第三张截图是我当前拟定的志愿顺序。”
这一条,AI复盘评价为”全部178轮里质量最高的prompt之一”,做到了”重述关键数据 + 主动测试 AI 记忆 + 明确任务边界”。
这轮会话的确也获得了最有价值的把关。我上一篇里也说了,Claude 不出意外是最理解我们志愿方案的 AI(当然拥有详细的上下文信息也是一个因素)。
我这也不是不会写啊。
我没写好的 prompt 都犯了什么错
1. 工具问题没有直接告知AI终极目标
原话:”高考志愿招生计划数电子文档,怎么可以快速搜索到指定学校?我是 mac,用了 command+F 不行……”
这是我用元宝处理的第一个任务。我当时是在查询 26 年高校招生计划数的时候,遇到了不能使用快捷搜索的问题,我觉得 AI 只要帮我解决这个单点工具问题就可以了,于是只把过程中遇到的障碍问题告诉元宝了,并没有告诉元宝我的终极目标是要填高考志愿。元宝带着我折腾 OCR、打印、长截图、微信识图,拖了十几轮、我说”累了累了”之后它才承认查不到。
2. 批量搜索任务不带“数据宪法”
原话:”这几张里的学校和对应每个专业,26 年在四川的招生计划数、学费、住宿费你都帮我去官网找出来……然后按表格发我。”
志愿填报查数据这种事,错一个数就可能滑档,只能相信官方权威数据源。我是知道这些信息在哪里有,我也知道只有官网的信息才可靠,但是我并没有明确告知元宝,完全依赖 AI 的搜索和查询能力。比如官网到底指哪个官网,学校官网?xxx 媒体官网?结果就是元宝说它做不到联网去官网查这些数据,然后又把这个工作甩给了我。
除此之外,我还发现我和AI的会话太像日常微信聊天的模式。比如同一个会话中不停地切换新任务,但又不重述自己的目标和上下文,一开始”PDF 怎么搜索”,然后是”帮我查学费”,再是”帮我排志愿”;还有用”这张””还有这张””帮我补充进去”来指代上下文;还有就是打补丁式的、碎片式的补充背景和任务。人的上下文能力是非常强的,所以,平常沟通好像不觉得会有什么太大的问题,用在 AI 上就不行了。
我又按照AI复盘建议把prompt改好,重开会话跑了一遍,想看看 prompt写好了,是不是就能救回来。结果发现,prompt像微信聊天这都不算啥,关键是产品有没有这个能力干这个活。
Prompt的局限:写得再好,也改变不了产品能力
还是元宝查招生计划数那个任务。改写后的prompt,我核心就加了一句”如果你处理不了,直接说,我换工具”。
修改后:……我最终目的是查约 20 所学校的招生计划数和学费。请先告诉我,以你的能力,处理这个任务最优的路径是什么?如果你处理不了扫描件,直接说,我换工具。
结果元宝在开头就说”扫描版PDF(没OCR文字层)我这边处理能力有限””对300多页合订本做全本OCR+跨页表格抽取,既不快也不稳”,还给我推荐了其他方法。
就这个核心改动,把我发现它干不了这活的成本,从十几轮压到了一两轮。
但我真正想要的是让那本300页扫描合订本能被搜索,剩下就是我需要决策换不换工具,还是接受它做不到、采取它给的其他方案。我从AI的复盘里才知道,这需要能读文件、能跑OCR的产品能力。就算我prompt写得再完整,也不能让它具备这个能力。
另一个批量查数据的任务也一样。加了”查不到就标未查到、禁止估算”的规则后,元宝的思考时间都从几秒变成一分半,但最全的信息源还是在那本扫描合订本里,元宝的搜索引擎够不着,最终还是绕回产品能力上。
Prompt测出产品能力边界,该换工具时果断换工具
我大概没法把每个AI的能力边界都摸清。但这次我发现,与其去记住所有AI的边界在哪里,不如直接用好prompt,让AI干不了就直说。AI说做不到,我就知道该换工具,而不是继续改 prompt 了(不得不说,后来我还真做了一个 AI 能力边界表……现在觉得自己像个小丑)。
prompt写好,确实可以让我这种写得时好时坏的人,少坑自己一点。不过,要每一轮大大小小的会话都认认真真写,我可能真做不到。这里还有精力分配、prompt和上下文管理的技巧的问题,我还在摸索,有进展了再来分享。
本文由 @AI Second 原创发布于人人都是产品经理。未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议
- 目前还没评论,等你发挥!

起点课堂会员权益



