从“NLP技术”到“AI大模型”

0 评论 2523 浏览 15 收藏 7 分钟

自从AI大模型问世以来,仿佛很少有人提及NLP技术这个词了。昨天休息的时候突然在想一个问题,AI大模型已经如此强大了,还需要传统的NLP技术吗?

传统的NLP技术指:从分词(ws)、词性标注(pos)、命名实体识别(ner)、依存句法分析(dp)、语义角色标注(srl)等过程。

传统的NLP技术主要应用一些基于规则、统计学的机器学习模型来实现。而AI大模型核心是基于词嵌入技术来进行实现,相当于是一种暴力解题的方式,通过超大规模参数来达到模型涌现的能力。

二者最核心的区别在于2个:一个是训练所需的数据不在同一个一个数量级上,传统的NLP技术处理的更多的是企业内部定向任务的数据,而AI大模型则应用全网数据来实现;另一个则是在技术实现的抽象层次不同。

NLP技术是直接应用人力可以理解的语言规则来实现;而AI大模型则是将语言规则抽象成向量,然后通过深度神经网络来进行训练,在神经网络中面对抽象后的高维向量,人力已无法理解,这也是AI大模型的解释性比较差的原因。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

在让机器理解人类语言这件事儿上,现在看来可以划分为2个阶段:NLP技术阶段、和AI大模型阶段,每个阶段都有其独特的技术特点和里程碑事件。以下是这两个阶段的技术演变过程的详细梳理。

一、传统NLP技术阶段

1. 早期方法(1950s – 1990s)

早期的NLP主要依赖于规则-based的方法和基于词典的系统。技术包括语法分析、模式匹配、关键词提取等。

2. 统计学习方法的兴起(1990s – 2000s)

统计学习方法开始应用于NLP,如隐马尔可夫模型(HMM)和条件随机场(CRF)。这些方法能够处理序列数据,并且对标记数据的需求较少。

3. 浅层和深层学习(2000s – 2010s)

特征工程和机器学习方法(如支持向量机SVM)在这一时期得到了广泛应用。出现了一些重要的NLP任务,如情感分析、命名实体识别、机器翻译等。

4. 语义角色标注和语义解析(1998 – 2000s)

FrameNet和语义角色标注的提出,推动了浅层语义解析的发展。共享任务和评估标准(如CoNLL)促进了核心NLP任务的研究。

二、AI大模型阶段

1. 词嵌入的革命(2013年前后)

Word2Vec和GloVe等词嵌入技术的提出,使得NLP能够更好地捕捉词汇的语义信息。词嵌入技术的出现为后续的深度学习模型奠定了基础。

2. 神经网络的突破(2013年 – 2014年)

循环神经网络(RNN)、卷积神经网络(CNN)、长短期记忆网络(LSTM)开始应用于NLP任务。这些网络能够捕捉文本数据中的序列特征和局部依赖关系。

3. 预训练语言模型的兴起(2018年前后)

BERT、GPT、XLNet等预训练语言模型的出现,极大地推动了NLP技术的发展。这些模型通过在大规模文本数据上进行预训练,学习到了丰富的语言表示。

4. Transformer架构的普及(2017年 – 至今)

Transformer架构的提出,特别是在BERT和GPT系列模型中的应用,成为了NLP领域的核心技术。Transformer能够有效处理长距离依赖问题,并且支持多任务学习和迁移学习。

5. 大模型的挑战与创新(2022年代)

大模型虽然在多个NLP任务上取得了显著的性能提升,但也面临着诸如可解释性、偏见、伦理和隐私等挑战。研究人员和开发者正在探索如何设计和训练更加安全、可控和可解释的大模型。

三、总结

传统的NLP技术是人类探索机器理解自然语言的一个过程,如果没有这个过程,那么后面的词嵌入、预训练模型、以及AI大模型可能就不会诞生了,正是由于传统NLP技术在应用层的惰性,才激发了研究人员的新思考,做出重大突破。

所以,回到文初的那个问题:AI大模型已经如此强大了,还需要传统的NLP技术吗?

当然如果你是从事应用层工作的人员,个人觉得不需要再去研究传统的NLP技术了,直接从词嵌入阶段开始了解即可。‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍

而如果你是偏科研方面的工作人员,则非常有必要去研究一下,传统的NLP技术,知其因,才能更好的解其果,这是奠定科研工作的基础。‍‍‍‍‍‍‍‍‍

本文由人人都是产品经理作者【长弓PM】,微信公众号:【AI产品经理社】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!