AI模型准确率都90%+了,业务还是用不起来怎么办?

0 评论 235 浏览 1 收藏 7 分钟

AI巡店系统在提升检测准确率后,为何反而引发店长投诉?本文揭露AI落地中模型边界与业务需求的真实差距,并详细拆解如何通过时间延迟机制、告警分级等工程思维,将每日数千条无效告警压缩至百条级。从空洞检测到动态阈值设置,这些看似简单的规则设计,才是让AI真正融入业务的关键所在。

做AI落地有一个巨大的坑:我们以为的准确率和业务实际的是不一样的。

AI巡店上线的前两个月,我们收集不同门店、货架场景特征,不断调参、数据增强、换backbone,空洞检测的准确率从88%提到了92%,心里还挺美。

然后运营说店长在群里投诉:“你们的AI,一个空洞告我100次,我手机一天到晚就是提醒。员工都在理货,谁有时间去处理啊?”

万万没想到,准确率涨了,体验更差了。

模型边界和业务需求的gap

此刻暴露出AI落地最常见的问题:业务的场景和模型的边界是不匹配的。

模型看得见“这里空了”,但看不见“空了多久”和“空了几个”。

比如:一个顾客刚拿走的空洞,3分钟后店员补上,和空了半小时一直没人管.在模型眼里,这两张图一模一样。店长需要的,不是“哪里空了”,而是“哪里一直没人管”。

所以核心除了把检测准确率从92%提到98%,还要给系统装上“时间感”。

我们怎么做?

第一步:让系统学会“等一会儿”

我的第一个改动,来自一份专利里读到的方法:检测到空洞后,不立即告警,等10分钟再确认一次。

1.在t0时刻,某货架区域饱满度低于阈值(比如<80%)。不告警,只记录状态,启动一个10分钟定时器

2.10分钟后再次检测:如果还低于阈值 → 真缺货,发告警;如果已恢复 → 说明补货了,静默结束

为什么是10分钟?这个“10分钟”不是随便定的。我结合的业务核心场景巡查实际规范,发现80%的补货动作都能在10分钟内完成,且总部要求必须30分钟内完成。设太短(比如2分钟),瞬时空洞会被误报;设太长(比如1小时),紧急场景会漏。

要是其他场景要求不一样,需要修改时间怎么办呢?于是我们做成了可配置的配置项。

第二步:解决“同一个空洞持续告警”的问题

但每10分钟判断一次,如果一个空洞持续1小时没人补,还是会发6次告警。店长还是会烦。

我加了三个机制:

  1. 新告警去重:同一个区域、同一个问题的告警,发过就不再发第二次。只有区域从“饱满变空缺”再次发生,才算新告警。
  2. 告警间隔控制:对于持续缺货的区域,每隔N分钟才提醒一次,不是每10分钟一次。
  3. 等级升级:30分钟发普通告警,60分钟升级为“超时告警”,120分钟直接@店长。店员不会被持续轰炸,但也不会忽略越来越严重的问题。

第三步:一些“不聪明但很有用”的细节

夜间豁免:晚上11点到早上6点,不检测不告警。没店员补货,告了也没用。

高峰时段的动态阈值:客流高峰,我们把10分钟缩短到5分钟:因为这时候补货压力大,5分钟不补就该提醒了。

结合店内闲忙程度:如果系统检测到空洞,同时发现门店人数较多,就走延迟告警规则。

效果

更新了这套机制之后,告警量从每天每店几千量级降到了几十、一百多,非紧急场景下,店长手机还可以从“每2分钟响一次”变成“每天早上一份汇总”,从”催你补货“变成“帮你管店”。

其他需要通过规范和机制来解决的问题

1.店员故意不补:系统判断是真缺货,发了告警,但店员就是不去;原因可能是商品缺货了没货可以补,或者店员主观不想去补,这需要管理和流程优化,不是纯技术能解决的。

2.摄像头被遮挡:货架前长时间有人(比如理货员),系统检测不到空洞。解法需要“人离开后再检测”,但实现复杂。

3.模拟遮挡:比如纸箱挡在货架前,系统看到的是“空洞”,其实是遮挡。用深度摄像头可以解决,但成本高。

一些感想:AI产品经理定位

AI落地的核心,往往不是模型本身,而是那些围绕业务场景设计的时间逻辑和规则。

算法和技术(不管是大模型还是小模型;图像视频还是语言模型),都只是基础,真正让系统“好用”的,是耐心去解决“它该不该说话”“什么时候说话”“说几次”这些看似琐碎的问题。

AI场景下,工具使用和执行的工作会一步步被替代掉,产品经理的定位在这里更像是“解决方案专家”。我们不但要知道模型能干什么(包括大模型、小模型 ,不同模型技术方案能实现的边界),还需要知道业务需要什么。然后针对需求去想解决方案:可能是纯AI,也可能是AI加工程;也可能是AI加机制。

下一篇我打算聊聊AI巡店背后的“人工”:标注团队怎么搭、质检怎么分离、怎么让业务人员参与进来。有兴趣的可以关注。

本文由 @嘻嘻李 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!