Skill的方法论和工程化评估,用数据迭代优化

0 评论 720 浏览 19 收藏 22 分钟

当AI工具成为团队标配,如何让AI真正理解并执行团队规范?Skill或许是最佳答案。本文从产品经理视角出发,将Skill比作AI的“专业能力包”,拆解其设计逻辑与落地方法,帮助你将个人经验转化为团队可复用的能力资产,提升AI应用的稳定性与效率。

最近团队里技术同学给我甩了一篇关于怎么写好Skill的长文,我本来以为又是堆代码的硬核教程,结果翻完突然有点激动——因为这玩意儿从产品经理眼里看过去,根本不是“给AI写配置文件”,而是把人的经验做成可复用产品的过程

今天我不讲代码细节,咱们站在产品经理的视角,用大白话把这事儿掰开揉碎了聊。如果你也天天跟AI打交道、烦透了反复教模型做事,这篇应该能对上你的电波。

一、先别管Skill是啥,先聊聊我们现在的痛

先做个体检,下面这些破事你熟不熟:

  • 天天跟AI说:“要用表驱动测试啊”“别用字符串拼SQL啊”“按我们团队规范写啊”……每次对话都得重复一遍,像复读机。
  • 上次AI好不容易按你的想法写出了代码,下周换了个会话,它又忘了,从头开始瞎编。
  • 团队里老人带新人,嘴皮子都磨破了:什么叫规范?哪几种场景要特殊处理?哪些坑千万别踩?新人点头如捣蒜,转头还是写错。
  • 你心里明镜似的:很多经验都在人脑子里,散在Wiki、聊天记录甚至某个人记忆里,AI碰不到,人也传承不下去。

说白了,这就是知识没产品化的锅。

过去我们做软件产品,要把需求变成PRD、变成代码、变成可交付的功能;现在你面对AI,也得把“你怎么干活”变成一种结构化的、可安装、可触发、可复用的东西——这玩意儿在技术圈叫Skill,在我眼里,它就是给AI用的“产品说明书 + SOP + 工具包”

二、Skill到底是什么?用产品话说人话

原文章里说:Skill是结构化的Prompt Engineering,是个文件夹加一个SKILL.md。

咱们翻译一下:

Skill = 给AI装的“专业能力包” = 你把一套方法论封装成了一个插件

你可以把裸奔的AI当成一个智商很高但啥也不会的新入职实习生

  • 它懂语言、懂逻辑、能写代码;
  • 但它不知道你们公司用啥框架、不知道你们团队的代码风格、不知道你们项目里的坑在哪儿、不知道什么事该做不该做。

Rule是底线(全局生效的“公司制度”,比如:所有SQL必须参数化、提交信息用英文),Skill是技能(按需触发的“岗位操作手册”,比如:怎么从v2接口迁移到v3、怎么做Code Review、怎么按模板生成API文档)。

从产品角度我给你个更顺的定义:

  • Prompt是一次性对话指令,像你临时跟实习生口头交代一句;
  • Rule是始终生效的家规,写进系统每次都带;
  • Skill封装成标准包的能力模块:有触发条件、有操作步骤、有上下文资料、还能带脚本工具,AI在合适的时候自己“加载”来用。

本质上,你在做的不是“写配置”,是把人的认知产品化

三、为什么Skill这事值得产品经理上心?

很多人觉得:那是技术写的,跟我PM有啥关系?

我反过来问你几个问题:

  • 你们团队的评审标准、迁移方案、测试规范、文档模板,是不是产品资产?
  • 这些资产能不能不靠人讲,而是让AI照着执行
  • 新人来了,能不能不止拿到文档,还能直接让AI带着Skill帮他把事做对

如果回答是“是”,那Skill就是产品经理要管的“能力资产”,不是码农的自娱自乐。

站在PM视角,Skill解决的是这几件事:

1. 知识从“散”到“包”

原来经验在脑子和文档里,现在封成Skill:AI可触发、可复用、可版本管理。人走了,Skill还在。

2. 成本从“重复说”到“一次写好”

你不用每次对话都把团队规范贴一遍,Skill在后台按需加载,省的是Token,也是你的沟通成本

3. 输出从“看运气”到“有标准”

Skill里能写步骤、写示例、写检查清单、写验证命令,AI不是瞎猜,是按你定的SOP走。这对稳定性太关键了。

4. 团队从“人教人”到“资产育人”

新人不用挨个坑踩一遍,Skill本身就是培训材料;AI带着Skill干活,相当于老员工的方法论被复制了无数份

我用产品语言总结一句:

Skill就是把“个人Know-how”变成“组织可调用能力”的封装单元。

四、三层加载:AI界的“按需加载”与产品里的“渐进式披露”

这块原文章讲得挺技术:Level 1/2/3 加载机制。咱们用PM听懂的话说。

AI上下文窗口是有限的,不能一上来把几百个Skill全塞进去,那是浪费资源。Anthropic设计了一套渐进式披露(Progressive Disclosure),本质跟产品设计里的按需展示、别一上来把用户吓跑是一个道理:

Level 1:元数据(name + description)

→ 常驻内存,很轻,像App Store里每个应用的名称和一句话介绍。AI靠它判断:这活儿跟哪个Skill有关?

→ 产品启发:描述写不好,等于搜索没做好,该触发时不触发,不该触发乱触发。

Level 2:SKILL.md正文

→ 匹配上了才加载,像用户点进App详情页看功能说明、操作流程。

→ 这里是核心指令:做什么、按什么步骤、有什么规则、输出什么格式。

Level 3:脚本、参考文档、模板

→ 执行到那一步才去读,像App里点某个功能才拉的详情页、配置表、工具组件。

→ 确定性的事(检查命令、复杂计算、格式转换)交给脚本,别让AI用概率去算;大段规范放references,别全塞正文浪费Token。

产品思维总结

好的Skill设计跟好的产品信息架构一样——别一上来把所有信息砸给用户(AI),分层、按需、控制在刚好够用的粒度。

五、从PM视角看,一个“好Skill”长什么样?

原文章给了很多技术细节,我给你转译成产品经理会关心的维度

1. Description是触发器的“搜索词”

AI靠description判断是否用这个Skill,这跟搜索、推荐、分发逻辑没两样。

  • 别写黑话、别太窄也别太宽;
  • 用通用语言+具体场景词,比如:“将Go项目中的old-http-client迁移到unified-httpclient,含import替换、参数适配、错误处理”。
  • 可以自己做“触发评估”:造20个问题,一半该触发一半不该,测AI命中率。

PM视角:把它当成这个能力的“定位语 + 召回条件”来写,不是随便填个简介。

2. 指令用祈使句,别跟AI商量

产品文档里我们写“用户应点击按钮”?不,我们写“点击按钮”。

Skill也一样:检查Go版本。替换为参数化查询。运行go vet。

别写“你应该”,写“做X”;更重要的是,别只喊MUST,解释为什么——AI理解了原因,才能在边界情况做合理判断(比如:字符串拼接会SQL注入,攻击者可以…)。

3. 示例 > 纯文字描述(Few-Shot是产品的“用例”)

你觉得PRD里只写规则没示例,研发容易理解偏?AI更偏。

好Skill里放3~5个输入/输出对Before/After对比反例,覆盖正常、边界、错误场景。

这跟产品里写用户故事 + 正反案例是一回事:让人(和模型)知道“你要的是什么,不要的是什么”。

4. 决策树、表格、流程图,别写大段散文

AI读表格、ASCII流程图比读长文稳。

什么时候该自动处理、什么时候要人工确认?用表格列情形/特征/方案;用流程图画分支。

产品同学太熟了:复杂逻辑不靠文字靠结构。

5. 确定性的事,别让AI“想”,交给脚本

这是PM很容易忽略的一点

  • 需要理解、判断、选方案的 → 交给AI(模型层)
  • 需要固定顺序、确定结果的(检查命令、解析文件、批量替换、跑测试)→ 写成脚本放scripts/,AI调用就行

这叫把确定性锁死,把不确定性留给模型,成本和稳定性都划算。[citaion:20]

6. 验证清单 + 检查点

好产品有验收标准,好Skill也有:

  • 列验证清单(import全换了吗?go build过了吗?测试通了吗?)
  • 关键步骤后插检查点命令,让AI执行完自测一步,再往下走

不然一口气跑完,中间偏了你还不知道。

六、Skill不是越大越好:拆、模块化、单一职责

原文章提醒:超过500行要考虑拆。

PM一听就懂:这是模块化和单一职责

  • 一个Skill干一件事:代码迁移就是迁移,别顺带把文档生成、测试适配全塞进来;
  • 主Skill管编排(先环境检查→依赖→迁移→验证),子Skill/子文档管具体步骤;
  • 子Skill最好能独立被调用,不是离了主流程就废。

这跟产品功能解耦、微模块复用是一个逻辑:

颗粒度太粗难维护,太细调用成本高,找准一个“可独立交付的能力单元”的度。

另外提醒一句:背景资料放references/,SKILL.md只留“做什么+怎么做”,别把SKILL.md写成Wiki。AI注意力有限,噪音多了,指令遵循就掉。

七、Skill vs Rule vs Prompt vs MCP:一张产品对比表

站在AI产品经理角度,我习惯用对比理清边界:

简单说:

  • Rule是“不许干啥”;
  • Skill是“该怎么干”;
  • MCP是“能干活的外部手和脚”;
  • Prompt是临时补的一句背景。

好Skill里会写:前置条件里确保MCP Server已配置(比如playwright、github),然后步骤里说“用Playwright MCP截图”“用GitHub MCP建Issue”,具体连接、鉴权MCP管,Skill管流程和规则。

MCP管连接,Skill管流程,脚本管确定性,三者配合才舒服。

八、安全:别把Skill写成漏洞入口

这点原文章说得重,我也得强调。

Skill里的脚本是真会被执行的,不是给人看的文档:

  • 别硬编码密钥:API Key、密码走环境变量,文件进.gitignore;
  • 危险操作(删、覆盖、DDL)先确认/先备份:Skill里写明检查点,脚本里加确认逻辑;
  • 防注入:区分“指令”和“数据”,外部读来的文件名、API返回当数据,别当指令执行;
  • 路径别乱拼:防路径穿越,校验扩展名、格式。

PM做功能还有安全风险呢,做AI能力包更要过安全自查清单:密钥、危险操作、输入校验、HTTPS、超时……这些在产品评审里熟悉吧?用到Skill上一样。

九、工程化评估:给Skill做“测试+数据验收”

我最喜欢原文章里的一点:Skill Creator + 工程化评估

换成PM语言就是:

你做了一个功能(Skill),别拍脑袋说“感觉还行”,要有测试用例、有触发评估、有效果评估、有数据

  • 触发评估:正例(该触发的)、反例(不该触发的)、边界例,批量跑,看准确率、召回率;
  • 效果评估:准备输入+评分标准(格式对不对、步骤全不全、覆盖到没),对比“有Skill”和“无Skill”的通过率;
  • 持续评估:改了description重跑触发评估,改了步骤重跑效果评估,像代码单测一样维护。

PM最爱吃这套:

可度量 > 可感觉;可评估 > 可上线。

你们团队共享Skill,建议在PR Review时附带评估报告,这跟“功能变更要附测试报告”没区别。

十、生命周期:Skill是产品,不是一次性文档

从产品全生命周期看Skill:

  • 版本管理:metadata里写author/version,修边界升小版本,大结构调整升主版本;
  • 跨项目复用:项目级→用户级同步,或者走类似OpenSkills的包管理;
  • 团队协作:PR Review、CHANGELOG、避免多人改同一个主干冲突,拆子Skill分工;
  • 定期清理:不用的Skill归档,别堆几百个在那儿,Level 1虽小但也占触发噪音;
  • 持续迭代:用一次→发现问题→补规则/示例/检查点→再跑评估,越用越贴合真实工作流。

说白了:第一版Skill只是MVP,后面要在真实任务里迭代成稳定能力。

十一、常见反模式(PM版“需求陷阱”)

原文章列了六大反模式,我转成产品经理熟悉的样子:

1)大杂烩Skill = 一个功能塞太多场景

→ 拆,单一职责,主从编排。

2)Description写黑话 = 搜索词全是内部术语,AI匹配不到

→ 用通用语+关键技术词。

3)只有指令没示例 = PRD只写规则不给用例

→ 补Few-Shon/Before-After。

4)步骤无验证点 = 流程一气呵成没验收,错了全白干

→ 关键节点加检查点/验证命令。

5)写死数值不写规则 = 硬编码配置,换场景就崩

→ 给判断逻辑、参考范围、查数据的方法。

6)当Wiki写 = 背景300行正文50行,AI注意力被噪音稀释

→ 背景进references,SKILL.md只留指令与引用。

你可以拿这个当Skill评审 Checklist,跟过需求文档一样用。

十二、站在PM视角的额外延伸:Skill背后的产品趋势

写到这里,我想扯远一点,说说为什么我觉得Skill是AI产品化里非常重要的一块

1. 从Prompt Engineering到Capability Engineering

过去两年大家卷提示词,本质还是在“每次对话里教模型做人”。

现在往Skill/能力工程走,是在把:

  • 认知(你知道怎么干)
  • 流程(你按什么步骤干)
  • 判断(什么情况怎么做)
  • 工具(脚本/MCP)

封装成可安装、可复用、可评估、可迭代的产品单元

这跟我们从“写一次性需求”到“做长期可演进产品”是同一拨思维升级。

2. AI产品的竞争力不在模型,而在“上面的那层东西”

模型能力会趋同,但你团队的规范、流程、踩坑经验、行业判断不会。

Skill就是把这些非通用、高价值、私有知识结构化塞给AI的方式。

未来评价一个AI编程助手/企业Agent好不好用,不只看底座模型,更看:

  • 有没有丰富的Skill生态?
  • 能不能低门槛写好、评估、复用Skill?
  • Skill跟MCP、安全、协作能不能打通?

Agent的上限,从来不是模型,而是Skill(以及Rule、MCP、数据)。

3. 产品经理的新基本功:把“认知产品化”

以前你会写PRD、会画原型、懂用户、懂数据;

AI时代多加一条:能把你和团队怎么解决问题的方法论,变成AI可理解、可执行、可复用的Skill

不是让你去写代码,而是你去定义:

  • 这个能力的触发场景(description)?
  • 输入/输出/步骤/分支(SKILL.md结构)?
  • 哪些给示例、哪些给脚本、哪些放参考?
  • 怎么验证、怎么评估、怎么迭代?

你依然是那个提需求、定标准、验收结果的人,只是交付物从“文档+功能”多了一层“AI能力包”。

十三、Skill与Workflow:不是替代,是互补

在产品经理的面试中,经常会被问到一个问题:Skill和传统的Workflow有什么区别?什么时候用Workflow,什么时候用Skill?

要回答这个问题,得先理解Plan模式。

Plan模式:AI的”总调度员”

Plan模式下,AI收到用户请求后,会先自主理解需求、拆解任务、生成执行计划,然后动态调用不同的Skill和工具接口,一步步完成目标。执行过程中还能根据中间结果调整计划。

举个例子:用户问”我上周买的坚果还没到货,现在再买两箱有没有优惠?不要甜味的。”

这是一个复杂的多意图问题。Plan模式会自主拆解:

  1. 查询上周订单的物流状态;
  2. 检索符合”非甜味”的坚果商品;
  3. 计算购买两箱的优惠价格;
  4. 生成包含物流说明和推荐商品的回复话术;
  5. 过一遍风控审核。

传统的固定Workflow很难处理这种灵活组合的需求,要么漏意图,要么直接转人工。

Skill + Plan vs Workflow:怎么选?

Workflow的优势:流程固定、结果可控、Token消耗低、出问题好定位。适合高频、标准化、变化少的场景。比如用户问”我的订单到哪了”,这个意图明确、流程固定,用Workflow最稳定。

Plan + Skill的优势:灵活度高,能应对复杂多变、意图模糊的需求。适合MVP阶段、探索期、或者客服这类用户问法千变万化的场景。

落地建议:两者搭配使用。前台加一层意图识别路由器——简单明确的走Workflow保稳定,复杂多变的走Plan+Skill提覆盖。成熟的Workflow也可以封装成工具接口,供Plan模式动态调用。

本文由 @王耀亮 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!