大语言模型:LLM的高阶应用「工具和插件」

0 评论 901 浏览 0 收藏 7 分钟

在AI大模型如火如荼的今天,如何充分发挥LLM的潜力,成为业界关注的焦点。本文将带你深入探索LLM的高阶应用——工具和插件,揭秘它们如何扩展LLM的能力边界,解决实际应用中的痛点。正如工匠需借助精良工具方能打造传世之作,LLM亦需借助工具和插件,才能在职场中发挥出最大的价值。

之前有段时间,网上对于AI大模型比较9.9和9.11那个大的问题,引发了一波大众对AI大模型的质疑。

当你了解LLM的原理后,就知道背后的原因是因为LLM本身不具备数学能力而导致的,它只能进行文本预测。

那么当在使用LLM构建应用程序时,LLM本身又不具备某些能力时,该怎么办呢?

这时候,就涉及到工具的使用了。例如用户和你的智能客服进行订单状态咨询时,你需要LLM能够借助sql语句来查询你的数据库,然后回复用户等。

目前市场上大部分的LLM提供的工具服务,主要分2种类型:工具函数,和插件工具。工具函数:用户根据自己项目的需要,通过自定义函数来实现一系列能力的扩展。

插件:开发者可以基于自己的API服务构建插件,可上架到GPTSstore中,供第三方使用。

虽然这2种方式有很多地方很像,但是终归是不同的发展定位。工具函数,更像是LLM平台提供的一种扩展,而这个扩展能力仅得使用方自己来开发且无法向外推广。

而类似于GPTs的插件工具,则是一种生态的构建,插件开发好之后即可以自己用,也可以上架到GPTstore中供第三方使用。在国内,虽然没有插件市场,但是却形成了类似于扣子的智能体市场,提倡Agent即服务的思想。

不管是工具函数、插件、还是智能体平台,都是在不断扩大LLM的能力边界,虽然目前GPTs发展的并不理想,但是从长远发展来看,这3个因其定位不同,都有很大的市场空间。

目前GPT Store仅对Plus会员开放,因其中智能体的同质化严重,用户槽点较多,可能短时间很难发展起来,所以这里我们就先不考虑插件这种方式

我们以kimi为例,来介绍它的函数工具。如果不嫌麻烦的话,可以直接查看官方的API文档:https://platform.moonshot.cn/docs/api/tool_use

在工具的使用上,kimi一方面支持自定义函数工具,另一方面也提供了最常用,联网搜索的内置工具($web_search),不过这个内置的联网搜索工具函数除了额外的Tokens消耗外,还需再收取一次调用费用,价格为 ¥0.03/次。

我们这里主要介绍一下,Kimi的自定义函数工具,国内其他的LLM所提供的函数工具,基本上也都差不多。整体流程如下

上图是官方给的一个时序图,如果不懂技术的伙伴,可以直接看下面这张图,逻辑都是一样的。

那么工具的使用(Tool Use)具体是怎么实现的呢?这里放一个官方示例,来感以下:

虽然代码有点儿长,不过还是比较好理解,在kimi中使用工具,需要先定义好tools,包括:

函数名:即调用的函数名;

函数描述:即函数的作用,以及什么情况下LLM出发此函数,这部分需要不断的调整和测试,尽可能的覆盖所有的函数调用场景。函数参数:即函数的入参,LLM可以从用户的提问中,来提取入参。

在tools中定义好函数后,后面就是具体的函数代码实现,以及函数的调用了。

以上便是LLM的工具使用,由于篇幅限制,感兴趣的伙伴可以直接阅读官方文档,学习更细节的内容。

另外就是,有没有一种开箱即用的工具箱呢?可以根据我们的需求来进行调用,当然有。在LangChain框架中,内置了很多工具,如下图所示:

使用这些工具的前提是,你必须得使用LangChain框架,而LangChain框架,也是目前基于AI大模型进行应用开发最强大的框架,不过需要注意的是,LangChain目前迭代的速度非常快,这意味着不太稳定性,在真实的业务中,如果不是极度依赖LLM那么还是建议基于LLM平台的API来构建应用即可。

好了今天的分享就先到这,感谢观看。

撰文: 长弓PM

本文由人人都是产品经理作者【长弓PM】,微信公众号:【AI产品经理社】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!