AI应用实例分析——文本纠错

8 评论 2539 浏览 12 收藏 7 分钟

编辑导语:AI在现实中的应用有很多,你有没有想过,它还可以进行文本纠错呢?传统的校对既耗时又枯燥,通过AI纠错,不仅能更快完成,还能提高准确度。那么AI“文本纠错”背后的原理是什么呢?和我一起看看吧!

前面跟大家分享了AI开放平台的相关内容,之后想围绕AI应用实例这块跟大家分享交流,这节主要讲述跟NLP相关的一个应用实例——“文本纠错”。

一、背景

虽然这几年短视频在内容传播方面发展得很火,但是文稿仍然占据重要地位。而文稿传播最重要的一点就是信息的准确性,尤其是一些有知名度的正式平台更是会在文稿发送前进行校对修正。

传统的人工校对工作量是非常大的,一篇5000字的文稿完成校对差不多需要1-2个小时,对于校稿人员来说既耗时又枯燥。有一家内容平台就提出,希望我们通过AI能力提供快速校对工具,主要针对中文文稿,帮助校稿人员和编辑人员减少内容错误。

为了满足该需求,我们基于NLP技术提供了文本纠错服务。

二、关键技术

文本纠错中用到的技术的前世今生在这不过多介绍了,目前文本纠错的主流方向还是使用机器学习的方式来完成,其中需要用到的核心技术主要包括语言知识学习、上下文理解和知识计算。

  • 语言知识学习:可以理解为是对语言规则等先验知识的学习,通过学习词法、句法等规则进行语言模型构建,例如中英文的主谓宾结构就是不一样的。
  • 上下文理解:是指分析错误点上下文语境和语义,从纠错候选中选择最合适的。尤其是中文,相同的词汇在不同语境中往往表达不同的含义。
  • 知识计算:知识计算主要包括关联知识计算和文本理解,关联知识主要是通过对全局知识的统计来实现纠错,可以是局部不完整语句的补充。文本理解是通过统计理解全局句子内容,解决低频领域知识的泛化问题。

三、产品设计

1. 应用场景

(1)用户场景:审稿或者编辑人员输入中文文字信息,系统自动纠错,并给出修改建议,审稿人员对错误快速修订。

(2)应用边界:

  • 支持用词错误检测,针对音近、形近的错字和别字进行纠正
  • 支持句子级错误检测,主要是针对句子中出现的多字、少字等错误,相对难度校大。
  • 支持场景类错误纠正,这类错误需要具备一些特定领域的知识才能识别纠错,所以尽量支持。

2. 产品定位

  • 产品定位:为应用工具型产品,实现中文文本自动纠错功能。
  • 用户定位:满足两类B端用户,第一类针对具备自主的文稿编辑工具,提供API服务,与现有系统进行改造融合;第二类是针对缺少文稿编辑工具的用户,提供web页面功能。

3. 产品业务流程

产品核心业务流程主要是产品端和算法端的交互,具体业务流程如下:

4. 产品功能设计

(1)页面功能设计

页面核心功能主要包括如下:支持内容上传、内容审查、结果确认和内容下载。

主要页面设计如下:

(2)API接口设计

包括内容纠错请求接口和结果回调接,分别用于内容审查纠错和结果返回,以下描述主要的输入和输出参数:

  • 输入:接口鉴权、文本内容、文本编码格式等。
  • 输出:文本分析结果,包括源文本、纠错文本、文本位置,置信度。

5. 评估指标

产品上线前,需要对产品的性能进行评估,主要包括三个指标:误报率、召回率和处理时间。

  • 误报率:代表正确的句子被改错的比率,等于正确句子被纠错的个数/正确句子的个数。
  • 召回率:代表错误的句子被全部纠正的比率,等于含有错误的句子被改正的数量/所有含错误的句子数量。
  • 处理性能:代表处理多少个字符的耗时,单位是千字耗时,s/千字符。

四、结论

文本纠错是NLP非常基础的场景应用,但是实际业务价值却是很大的。在具体业务场景应用方面不仅可以用在在媒体编辑、电子病历等输入文本纠错,还可以应用于语音搜索、客服问答等业务。

 

本文由@Eric_d 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于CC0协议

给作者打赏,鼓励TA抓紧创作!
更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 我的天呢,现在真的能智能纠错吗,这可真的是太神奇了,看来又要有一部分人做好转行的准备啦~

    来自河南 回复
    1. 已经在用了啊,但是还需要人工去做复查,确保不会被误判,不过相对纯人工还是会很大提供工作效率的啦
      ps:阔以转行做AI工具啊~,hhh

      来自上海 回复
  2. 啊!那以后会不会校对就没有工作了啊,AI能校对语法错别字,但校对不了感情的表达呀

    来自云南 回复
    1. 不会的啊,除非算法能做到万无一失,不然还是需要人工的参与,只是人工效率提升了呀~

      来自上海 回复
  3. 改正错字还可以,但是如果技术不够,那就不是一项好的想法了,未来该不会是AI评改作文吧

    来自中国 回复
    1. 应该不至于全靠AI的,毕竟还有很多情感问题是AI解决不了的

      来自上海 回复
  4. 网络上太多的谐音梗很容易造成词汇正确拼写的混淆,真真假假分不清了现在

    来自广东 回复
    1. 是的啦,很多谐音梗是容易造成误判,主要还是实际场景要不要将这个谐音词当做是错误的,比如数智化,也基本被接受了,所以可以考虑训练时注意或者加入白名单

      来自上海 回复