AI产品经理技能2:怎么样才算企业级Skill

0 评论 67 浏览 1 收藏 10 分钟

企业愿意采购一个 Skill,看中的不是某个场景被做成了 Skill,而是它背后的稳定性与可迁移性。这篇从一次 AI 化落地咨询出发,给出企业级 Skill 的四个要素——明确触发条件、确定性执行环节、可验证交付物与可维护机制,以及它的恒等式。

这是本系列第二篇。上一篇我们讲了 Skill 是什么、怎么被发现和调用。这篇我们来换一个工程视角,来看看什么样的Skill才算是企业级 Skill?

01 企业级 Skill 的定义

首先这次文章来源于我最近去一家企业进行AI化落地的咨询,通过这次的咨询我的最大一个感受是:

企业愿意采购一个 Skill,看中的是它背后的两样工程属性,而不是某个场景被做成了 Skill这件事,怎么理解呢?其实就是这两样:

  1. 稳定性(Stability):跑一百次,至多允许有一两次结果抖动,比如模型偶尔格式写错,还能接受;但是发错对象、算错金额、失败了还不吭声,这绝对不行。
  2. 可迁移性(Portability):换底层模型、换平台,行为都不掉链子。这一点直接逼出一个结论:凡是确定性的执行,都得下沉成工具。模型层可以随便换,工具层保持不变。

综合这两点,可以给出企业级 Skill 的工作定义。一个企业级的skill必须由四个要素组成:明确的触发条件、确定性的执行环节、可验证的交付物、可维护的机制。

02 核心公式:Skill 的恒等式

那么落地下来怎么样的skill才算企业可用的呢?我们先把本质写成一个式子:

Skill ≡ U(需求) ∘ T(执行) ∘ M(结论)

其中 U指大模型对用户需求的理解,处理那些没有唯一答案的环节;T 指工具的执行,输入定了输出就定了;M表示按先后顺序组合起来。

这个式子说的是:模型擅长两类非确定性的活,一类是把自然语言翻译成结构化意图(U),另一类是把执行结果组织成人话(M)。夹在中间的那段「执行」则必须确定:输入定了,输出就定了。它还得满足两条工程性质:

  1. 幂等性(Idempotency):同样的输入,必须得到同样的输出。让模型「算一下」没有这个性质,同一句提示词问两次,可能给你两个结果。
  2. 可观测性(Observability):每次执行都要留下结构化的日志和回执,失败能被监控抓到,而不是悄悄回一句「完成」了事。

举个这次我去咨询的真实例子。这家企业说原来的 Skill经常会抽风把用户群找错,事实上呢?是因为这家公司的SKILL把选群放在大模型自由发挥环节,让大模型根据名字来自行匹配,等于把执行里的一部分交给了不确定的模型判断,幂等性就此被破坏。

因此我给他们的修法不是让模型更聪明,而是把选群变成工具内部的一次查表:业务名进去(模糊查询),群 ID 出来,模型手上根本没有选错群的余地。

所以我们由此得出一条实操经验:凡是需要输出确定、可复现、不该有想象空间的结果,都要交给工具去固化;凡是模糊、要给人看、要推理的,才留给模型。

03 模型与工具的边界:三条下沉判据

具体来说哪些动作该从模型手里挪到工具?下面我给大家提供三条判据。

判据一:要求结果分毫不差、不能出错。

像税率计算、网页抓取、金额换算、日期和时区处理这类事,本质都是输入定了,答案就唯一的确定动作。交给模型等于用概率去换精度,方向从一开始就错了。

举个例子,有团队让模型算上季度环比,模型自己编了套算法,数字看着挺合理,财务一对账却对不上。正确做法应该是把企业内部自己的口径计算做成一个工具,让大模型直接用这个工具去重复计算。

判据二:不想每次重造轮子。

像数据拟合、格式转换、批量清洗、复杂查询构造这些活,如果每次都让模型现推,代价有三重:一是烧 Token,不划算;二是质量随随机性波动,不稳定;三是踩过的坑沉淀不下来,攒不成资产。

比如同一套清洗逻辑,A Skill 里写一遍,B Skill 里又写一遍,两次还不一致。把它抽成一个共用的清洗工具之后,全公司都用它,改一处就全生效这就从单点使用成为了企业资产。

给大家分享一个我自己咨询中总结的小技巧:去看看SKILL中提示词祈使句密度,比如一定要先XX,这类话写得越多,越说明这件事该做成工具。提示词是用来告诉模型调哪个工具的,不是用来约束它的;约束是工具该干的活。

判据三:公司已有系统的,不让模型想办法。

像 OA 提报、ERP 单据、库存查询、消息发送这些,公司一定有现成接口,那就可以直接使用接口结果。

比如前面提到的让模型自己发到对应的群,它只能靠群名的字面意思去猜;改成在工具里写死一张业务名到群 ID的对照表,模型只负责传业务名,越权的空间就没了。

同一件事到底该谁做,可以查一张职责矩阵(图 2):动作、归属、为什么、做错后果,四列一目了然。

所以建议大家记住一条边界:凡是公司已有系统的,Skill 里就别让模型绕开系统。模型只决定「调哪个」,工具永远负责「怎么执行」。

04 端到端实例:竞品商品价格监控

把上面这些规则落到一份真实的 Skill 上,我们来看看怎么落地。

需求是:盯一下那几个对手的最近价,每周跑,涨超 5% 就提醒我。

顺着前面那个式子,把它拆成六步:

我们仔细来看

我们可以看到在当前企业中,几乎是每把一个动作从模型下沉到工具,对应环节的出错概率就趋近于零,整体事故率随之下降。这就是典型的用工程手段来托底整个系统下限。

回到这个例子:六步里,模型只在第 ① 步和第 ⑥ 步自由发挥,中间四步几乎不出错。所以换模型、换平台,监控结果都不变;模型偶尔抽风,顶多发得难看点,数据一定是对的,这才是企业中真正可控的AI化改造。

05 最后

我想说不管是个人还是企业,我们一定要记住要学会把写进 Skill改成沉淀成资产,同一个坑踩到第二次,就该把它变成一个工具函数,而不是把提示词写得更长。Skill 越写越长,往往不是变厉害了,而是在不该用文字的地方硬堆文字。

本文由人人都是产品经理作者【三爷茶馆】,微信公众号:【三爷AI茶馆】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自 Unsplash,基于 CC0 协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
海报
评论
评论请登录
  1. 目前还没评论,等你发挥!