AI(NLP语义方向)标注工具产品设计的5个锦囊

5 评论 6284 浏览 45 收藏 7 分钟

编辑导读:数据是AI公司的必需品,数据标注是AI产品模型开发中重要的一环,也是AI产品经理必须要了解的基本技术,本文作者从认知基础、为什么我们需要标注、锦囊三个方面对AI标注工具的产品设计工作展开了分析说明,与大家分享。

一、认知基础

个人观点的认知基础如下,如果读者不认同50%以上,那么就没必要浪费时间阅读后续内容了,反之,我希望大家多质疑与交流,通过Q&A来共同进步。

认知1:人工智能发展粗略可以分3个阶段:符号主义(第1阶段)→ 联结主义(第2阶段)→ 理想AI(第3阶段),我们将长期(>30年)处于第2阶段

符号主义:代表人物纽厄尔和西蒙,认为人类的智能不管多复杂,归根到底都是由符号计算来实现的。只要计算机科学家设计了适合的程序,计算机早晚有一天能凭着符号的计算,也能提出相对论、创造罗纳尔多的射门、而剪纸捏泥人和书法篆刻就更不在话下。

符号主义的缺陷:很难在非常复杂的求解组合中快速找到最优解。

联结主义:代表人物大卫休谟,认为人工智能的首要任务是建立大脑的模型,不是预先给定解决问题的算法,而是构建一个在计算机上模拟的“神经元网络”,让机器自主地建立不同神经元之间的“联结”,通过最终结果的反馈,不断调整联结的模式,最终逼近最优解。

联结主义的缺陷:过于依赖经验数据

理想AI:感知智能+认知智能+情感的主观感受+自我意识

理想AI的缺陷:暂时无实现方案

认知2:AI执行语义理解任务,当前已经到了技术成熟期,后续依赖产品力和数据

粗暴一点说,各家算法基本无差别(<10%)。以解决实际业务问题、实现业务价值为衡量标准的话,产品的易用性(决定落地门槛/规模/效果)、组件化程度(决定成本),数据的数量和质量,才是决定价值的砝码。

认知3:中国现阶段(10年内)ToB市场,大B的真需求都在自给自足,第三方服务中小B才是正途

大B只有探索型需求和伪需求(为了体制内的升官发财)才会留给第三方,所以一个第三方公司如果敢说只做大B,那么一定是死路一条或者半死不活(无法建立壁垒/低利润率)

二、为什么我们需要标注?

认知1中提到“联结主义的缺陷在于过度依赖经验数据”,那经验数据是什么?经验数据 = 已标注数据。

未标注数据只能用于无监督机器学习,当前执行99%以上AI任务的都是有监督机器学习模型,预计未来30年以内还会保持现状。所以数据标注就是绕不开的槛。

三、锦囊

效率高是好的标注工具的唯一标准,所以3条锦囊全部都是围绕语义标注工具效率提升。

效率 = 认知效率 + 操作效率 + 智能化,以下锦囊也都是沿着这3个提升效率的方向进行的产品设计。

锦囊1:互斥性原则

语义模型本质上是一个分类模型,分类最关键的是类别清晰,例如想想折磨我们的垃圾分类。互斥性值得就是不同类之间要做到不重不漏(漏的部分一定设置专门的“其他分类”来兜住)。

具体到产品设计上,歧义优化(根据向量相似度,自动识别不同类之间存在交叠关系的语料),分类说明(设置为必填项)等都是互斥性原理的具体体现。

锦囊2:聚类冷启动

Bert无监督聚类模型做冷启动,“效果杠杠的,谁用谁知道”。缺失此模块,数据标注人员冷启动阶段就全靠想象力“瞎编”。我见过太多数据人员编写相似句(同一语义不同句式表达方式)写到生无可恋。上线周期还会因为标注效率低和效果差一拖再拖。

锦囊3:By分类智能推荐待标注语料

来,这一条锦囊大家可以在评论区猜一猜是啥意思?

锦囊4:Badcase闭环调优

语义模型调优 = 正向调优(By准确率)+ 反向调优(By Badcase)

Badcase指模型判断结果存在偏差的语料(来自于测试集+业务侧收集反馈),是极其宝贵的复盘资料。设计原理是从点状问题(Badcase)顺藤摸瓜找到本质问题(如ASR准确率、语义分类体系问题、存在大量歧义等)进行解决。反向调优可以极大提升模型的准确率、覆盖率等核心指标。

锦囊5:隔离数据管理与标注工具

若不进行隔离,随着产品功能复杂度的提升,标注工具的认知门槛会陡增。可以理解为厨房里的原材料和锅碗瓢盆混在一起丢到了一个橱柜中。这将严重影响产品给用户的确定感,会将标注效率直接打6折。

结语

AI执行语义任务,标注是绕不过的槛。但只要我们通过“傻瓜式工具”辅助用户轻松迈过去,AI对真实场景的赋能价值将被放大100倍以上。

 

作者:张佳伟,AI产品经理

本文由 @张佳伟 原创发布于人人都是产品经理,未经作者许可,禁止转载。

题图来自Unsplash,基于CC0协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 锦囊三 是训练一个分类模型,待标注语料先通过分类模型预测一个类别,推荐给作为标注人员作为标注类别候选,是这个意思吗?

    来自上海 回复
    1. 对,是这样的,实际应用提效大约30%

      回复
  2. 锦囊说清楚应用的标注任务类型会更好~

    来自广东 回复
  3. 我完全看不懂篇文章 我还做了快一年的NLP自然语言处理UI设计 完了。。。

    回复
    1. 不不不,主要是这个文章太细分领域

      回复