【大模型】企业内部如何快速应用GPT为我们提效——产品经理视角

0 评论 2838 浏览 18 收藏 9 分钟

大模型出现之后,许多企业看到了提效的新方向。那么,企业内部可以如何快速应用大模型、Agent等技术来实现提效?这篇文章里,作者结合自己的思考做出了一定梳理,一起来看。

企业内部使用大模型,底线是在安全允许的范围内,……

模型本身是不直接产生价值的,基于基础大模型开发出来的应用才是模型存在的意义。本文作者从8个方面简析企业内部如何快速应用大模型、Agent等技术来提效,希望对你有所帮助。

一、如何用好大模型,让它发挥最大价值?

两条路子,finetune、prompt。代理传统Bert类模型的微调训练的方式,使用更为高效的Prompt来指导LLM(即Prompt Engineer 又称为 In-Context Prompt),使其产生出期望的结果,无需改变模型的权重。

二、大模型应用领域

当前看大模型冷启动成本较低,泛化能力强,而小模型的可解释性和准确性胜出(行业发展非常之快,这一点在某些领域可以已经反转,受限于笔者的学识,难免局限,还望批评指正)。

各应用场景对可解释性,准确性要求较高,现阶段大、小模型结合落地的主流方式有两种。

第一种为将大模型与小模型进行级联。例如使用大模型从复杂数据源中抓取客户历史交易记录,沟通信息等,对数据进行自动打标,并输出结构化数据,用以丰富小模型数据集,提高小模型预测效果。

第二种为使用大模型作为小模型解决问题的中枢大脑。例如,利用大模型将复杂问题拆解为解决步骤,并在各步骤调用小模型能力,最后通过大模型进行总结性输出。

应用场景:汇集智慧、唤醒沉睡知识、众创数据价值、数字分身等。

三、在什么条件下,大模型才能更好地发挥价值?

大模型应用走得较快的企业,有三个共同点:

其一,是技术上的积累达标(可以让大模型run起来)。

其二,数字化建设方面做得比较扎实。在数据治理、数据资产管理和数据服务、数据安全管控、数智融合架构等方面,有较为扎实的基础。

大模型训练80%的时间都花在数据准备上。如果能打通数据和AI孤岛,让大模型直接在数据/信息(结构化、非结构化or半结构化)所在的集群上运行,无需搬运,就可以节省大量的时间和资源。其次,是业务流程清晰、明确。已经梳理、甚至是优化成标准的业务流程、规范。如果再有可衡量的指标作为check标尺,就更为加分。

其三,也是最关键的,需要有一群先驱,能起到带领、试验、示范的作用,快速试错、探路子,进而带动企业内部更多的人参与进来。实现从点、到线、到面、到空间的立体式多渠道的突破。

当一个新事物出现时,往往有下图的5类人出现。他们会依次接受新技术的变更。当灰色的谨慎派、迟钝派群体过大时,想推进下去是非常难得。特别是当反对派的声音占据优势时,甚至会抹杀掉先驱创造的一点点领先优势~。面对大模型,我们自问,我是谁?

四、大模型固有的问题/短板有哪些?

  1. 信息高效过滤。
  2. 抑制幻觉问题,准确性问题,绝对不能出错。
  3. 专业任务适配。
  4. 交互定制。
  5. 推理答案需要一定时间,而语音通话场景对延时要求较小,大模型无法满足。
  6. 工业、金融领域大模型还面临着关键性任务和动态适应性、个性化要求和隐私保护、群体智能与安全可信和基础设施的能力四大难题待解决。

相信随着大模型领域的高速发展,如上这些问题正在日新月异的被突破,每天的晨报都能给我们带来令人欣喜的消息。

五、在哪些场景下,更适合让大模型发挥作用?

六、企业应用大模型的五个阶段

企业用户对大模型的应用,可以分为5个层级:

  1. 简单对话;
  2. PROMT做角色定向问答;
  3. 基于公司内的知识做专业问答;
  4. 拓展GPT,使用插件,让大模型反馈更精准的信息、做推理,做简单的Agent;
  5. Agent簇,让Agent组成一支队伍,完全代替人执行。

七、使用大模型的工作流程

1. 业务痛点梳理。

2. 明确模型、知识等基础组件。

3. 安全评估。

4. 搭建Agent,以查询(Query)模式为例:

  • Step1.自然语言提问(ChatBot)
  • Step 2.Al智能实时查询(Text to Query)
  • Step3.数据处理(Data Format)
  • Step 4.数据组合(Template Render)生成报告(Data to Report Agent)
  • Step 5.生成回答(ChatBot)
  • Step 6.追问(LangChain ->Function Chaining)

5. 灰度上线运营。

6. 上线后效果评估(AB),持续优化。

八、企业内部要建设LLM应用平台吗?

如何让企业内部快速的把大模型用起来呢?有三条路子可以走:

  1. 针对有一定资源(技术储备、人才储备、现金储备等),可以企业内部快速搭建GPT应用平台。赋能业务和运营,全员拥抱大模型时代,寻找应用突破口,类似红衣教主、类似百度内部的做法。
  2. 或者购买第三方的服务,比如百度、字节、阿里、科大讯飞、商汤等产品。
  3. 再小范围的,买微软的Copilot账号(包月),最小范围的让研发同学用起来,让听得到炮火的人,先跑起来。

关键词:Agent、Chat GPT、生成式AI、AIGC、LLM、AGI、SQL、大模型应用。

作者:杨姝,黄帅,岑锦超

本文由@shucay 授权发布于人人都是产品经理,未经许可,禁止转载

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!