AI产品经理转型三部曲-技术篇②:《RAG和Markdown》

Goodnight.
0 评论 879 浏览 1 收藏 15 分钟
找到工作只是第一步。我们的核心目标是,通过系统的学习和实战训练,不仅让你成功入职,更能让你具备快速胜任工作的能力,在团队中站稳脚跟。

随着AI技术的飞速发展,AI产品经理的角色也在不断演变。本文作为“AI产品经理转型三部曲”的技术篇第二部分,深入探讨了RAG(检索增强生成)技术和Markdown语法在AI产品开发中的应用。

我们在此前《AI产品经理转型认知篇-解构本质》中,提到大语言模型(LLM)就像一位知识渊博的 “超级大脑”,能与我们进行自然流畅的对话,回答各种问题。

并且在《AI产品经理转型技术篇-LLM和Agent》中,我们也说到每个大模型都是拥有自己的训练集的,在预训练阶段,大模型掌握了一定的知识和内容。但是随着这些大模型被越来越多的企业运用,这些 “超级大脑” 如何快速、准确地调用最新、最精准的知识?

  • 比如运用到信用卡中心,它是否知道最新的卡有哪些?分别有什么卖点?积分如何兑换?
  • 比如运用到医疗领域,它是否能理解那么多医疗名词?如何理解用户的具体问题?
  • 比如运用到电商领域,它是否能知道最新的大促政策?哪些商品是爆品需要多推荐?

所以这就引申出来我们今天要说的第一个知识点

一、RAG

1.1 检索增强生成的概念

传统的大语言模型就像一位依赖 “死记硬背” 的学霸,通过海量数据训练将知识 “刻入” 神经网络参数中。这种方式虽然能存储大量信息,但存在两大痛点:

  1. 模型更新成本高,新知识的融入需要重新训练庞大的模型;
  2. 容易出现 “幻觉” 问题,即生成看似合理却不符合事实的内容。

RAG 技术它引入了 “检索” 机制,让 AI 在回答问题时,不再单纯依赖自身的 “记忆”,而是先从外部知识库中检索相关信息,再结合自身的语言生成能力进行回答。

检索增强生成(Retrieval-Augmented Generation, RAG)

是一种结合了信息检索文本生成技术的新型自然语言处理方法。RAG增强了模型的理解和生成能力。

RAG 基本上是 Search + LLM 提示,通过大模型回答查询,并将搜索算法所找到的信息作为大模型的上下文。

如下图:

查询和检索到的上下文都会被注入到发送到 LLM 的提示语中。(RAG的信息来源的范围包括 LLM 未受过培训的互联网上的新信息、专有业务背景或属于企业的机密内部文件。)

接下来我用一个简单易懂的例子来解释下检索增强生成。

你是一个粤菜厨师,你会做的菜基本上都是自己所学菜谱的菜式。

一天,你遇到一个广东本地顾客;

顾客想吃白切鸡,你查了一下菜谱大概就知道怎么做了,并且很快就能做好给到客户。

你又遇到一个湖南客户,他想吃家乡正宗的辣子鸡丁,他知道你是粤菜厨师,所以贴心的给你提供了自己所带的网络教程。

你结合自己原有的菜谱和客户提供的教程,学习如何做这道菜,最终做好端给客户。

假设我们是开发大模型的技术团队,我们把大模型比作一名厨师。

在第一种情况下,“菜谱”就是我们在开发系统的时候就配置好的知识库,因此厨师可以从系统默认的知识库中获取白切鸡的做法,然后做好给客户。

在第二种情况中,假设我们的系统支持用户上传个性化资料,来更好地满足个性化业务需要,当客户向厨师提供一份个性化菜谱,系统可以结合客户的菜谱和自己的经验结合做出新的菜品。

第一种方案的知识库,大家可以理解是公司统一配置的知识库,它相对固定,容易出现信息过期的问题;

第二种方案中,每个团队或者用户,可以根据自己的需要来增加私域定制化知识库。更灵活,不需要复杂的操作就能补充了业务知识。

我们给厨师准备“其他菜谱”的过程就是建立知识库索引,厨师查看资料就是系统在检索知识库,基于检索到的资料充分思考并回答用户的问题就是做好的菜。

所以,简而言之,相比于预训练好的大模型;检索增强生成可以通过添加来自其他数据源的上下文并通过培训补充大模型的原始知识库来提高搜索体验的相关性。这增强了大型语言模型的输出,而无需重新训练模型。

1.2 检索增强生成的好处

1. 精准度跃升:

我们经常害怕大模型“一本正经地胡说八道”;

前言中我举例的医疗咨询场景,比如患者询问 “糖尿病患者的饮食禁忌”。传统大语言模型可能因训练数据滞后,给出不完全准确的建议;

而采用 RAG 技术的 AI,会先从权威医学数据库中检索最新的糖尿病饮食指南,再结合指南内容生成回答,给出诸如 “应避免高糖指数食物,如白面包、糖果,建议多食用全谷物、绿叶蔬菜” 等精准且专业的答案。

在金融领域,当投资者咨询 “近期某股票的走势分析” 时,RAG 技术能实时检索最新的财报、行业动态等信息,让 AI 给出贴合实际的分析,而不是基于过时数据的错误判断。

2. 实时性突破:

让 AI 紧跟时代步伐新闻资讯领域是体现 RAG 实时性优势的典型场景。

在重大事件发生时,配备 RAG 的 AI 可以实时抓取新闻网站、社交媒体上的最新报道,快速生成事件综述和分析。

例如,当有重要的科技发布会,AI 能在短时间内整合发布会的关键信息,以通俗易懂的语言向用户解读新产品的功能和意义,而无需等待模型进行漫长的更新训练。

3. 轻量化部署:

目前RAG技术被非常多企业,尤其是传统转型AI的企业运用的很大的原因是因为RAG 技术无需像传统模型那样不断扩大参数量来提升性能。

企业可以根据自身需求,构建小型、针对性强的知识库,搭配 RAG 技术实现高效的智能应用。

例如,一家小型电商公司,只需将自身的商品信息、促销政策等数据构建成知识库,结合 RAG 技术,就能快速搭建一个智能客服系统,精准解答用户关于商品和优惠活动的问题,既降低了成本,又提高了服务效率。

4. 可解释性增强:

比如在医疗、法律、金融等对回答准确性和可解释性要求极高的领域,

当用户询问 “如何进行个人所得税申报” 时,RAG 不仅能给出详细的申报步骤,还能附上相关的税法条文链接和政策解读来源,让用户清楚知道答案的依据。

这种可解释性不仅增强了用户对 AI 回答的信任,也方便专业人士对回答进行审核和验证。

1.3 RAG检索增强的原理:

其实RAG的原理从文字描述上来说并不复杂,

主要分为三步骤:

建立索引、检索、生成。

建立索引:

建立索引是 RAG 发挥作用的前置重要环节。

在这个过程中,系统会先对外部知识库中的文本数据进行预处理,比如去除特殊符号、转换大小写、分词等操作,将原始文本转化为计算机更容易处理的格式。

比如数据清洗和提取原始数据,将 PDF、Docx等不同格式的文件解析为纯文本数据;

以及将文本数据分割成更小的片段(chunk);

最后将这些片段经过嵌入模型转换成向量数据(此过程叫做embedding),并将原始语料块和嵌入向量以键值对形式存储到向量数据库中,以便进行后续快速且频繁的搜索。这就是建立索引的过程。

检索生成:

检索就比较好理解了,当完成索引建立后,用户提出问题,检索生成步骤就开始运作。

系统会先将用户输入的问题转化为向量形式,然后在索引库中检索与问题向量相似度较高的文本片段。

在上一章我有解释过K值,就是选择相似度最高的K个文档块(K值可以自己设置)作为回答当前问题的知识。

大语言模型基于自身的语言理解和生成能力,结合检索到的可靠信息,对问题进行综合分析和整理,最终生成符合逻辑、准确且有依据的回答。

二、Markdown基础语法

在使用AI模型的过程中,尤其是需要做一些低代码操作的时候,不得不提起Markdown语言;

Markdown是一种轻量级编辑语义,广泛用于编写格式化文本。

它的优势在于简单、易读、适合撰写文档。

接下来我会带大家认识一些最常用的Markdown语法。

1.标题

Markdown使用#表示标题,#数量表示标题的级别,最多可以有6个级别

比如:

2. 强调

使用星号或下划线可以实现文本的加粗或斜体。

斜体:用单个星号或下划线包围文本

加粗:用双星号或双下划线包围文本

加粗斜体:用三个星号包围文本

3.列表

无序列表使用星号、加号或减号,后面跟空格;

有序列表则通过数字后面加·表示;

4.链接

创建链接使用[链接文本]+[链接url],记得使用英文括号

5.图片

插入图片的语法和链接链接类似,只是前面需要加个英文的感叹号!

6.引用

使用>表示引用

7.代码

行内代码使用反引号`包围(可能会有小伙伴会问反引号怎么打,Windows 系统将输入法切换为英文状态,直接按下键盘左上角的 “`/~” 键,即可打出反引号。)

8.分割线

使用三个或者更多的星号、减号、下划线创建分割线。

以上都是markdown的核心语法,掌握后就可以请轻松写格式化文本;markdown简单易学,这在未来的提示词工程中将会发挥非常大的作用。

预告:

我决定在这章结束后,下一篇,单独专门写提示词工程,以及在提示词中常见的技巧和使用痛点,希望可以由浅入深的帮助大家慢慢学习,一步一个脚印,知其然,知其所以然。

作者:Goodnight;工信部高级生成式AI应用师;专注用户研究、产品创新等领域

本文由 @Goodnight. 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!
专题
16037人已学习12篇文章
本专题的文章分享了如何从0-1搭建A/B Test。
专题
16393人已学习7篇文章
AI在现实中的应用有很多,AI应用实例有哪些?AI的实现原理是什么你知道吗?本专题的文章分享了AI应用实例分析
专题
21176人已学习19篇文章
好的权限系统可以明确公司内不同人员、不同部门的分工,便于管理等优势。本专题的文章提供了后台权限管理设计指南。
专题
14784人已学习13篇文章
本专题的文章分享了WMS系统设计指南。
专题
13630人已学习14篇文章
好的产品是对人性的窥视,无论是做产品,做运营,懂点心理学还是很有帮助的。本专题的文章分享了消费者心理学。
专题
13085人已学习14篇文章
大多数产品经理都会经历职场晋升和转正述职的时刻,这个时候,你该怎么做准备?本专题的文章分享了述职报告撰写指南。