"AI产品"相关的文章
AI,个人随笔
准确率 97.8% 的模型,为什么换个场景就全部误报?

准确率 97.8% 的模型,为什么换个场景就全部误报?

一个在公开数据集上 AUROC 高达 0.978 的电弧故障检测模型,在跨负载测试中竟出现概率反向的灾难性失效。本文复盘了这个边缘 AI 项目暴露的三个关键问题:产品逻辑依赖的阈值校准远比排序能力脆弱;漏报与误报的代价不对称必须在选模型前想清楚;当分数不可信时,产品应该展示证据而非概率。这些教训与电弧无关,任何 AI 产品经理都会撞上。