怎么解决智能体频繁产生幻觉、编造资料、工具调用参数乱填的问题?

0 评论 49 浏览 0 收藏 6 分钟

智能体在采购场景中常因信息缺失而“编造”数据,导致工具调用风险。本文以Haoee平台搭建的采购申请校验助手为例,详细拆解如何通过字段提取、参数预检和人工确认流程,确保智能体不越权、不臆测,为产品经理提供可落地的设计思路。

很多产品经理在设计智能体时,都会遇到三个问题:

  1. 智能体会把没有提供的信息补出来;
  2. 会把“可能”“大概”说成确定事实;
  3. 调用工具时会自行填写缺失参数。

例如,采购人员说:

帮我采购 A4 纸 10 箱,下周送到办公室,价格按市场价。

如果智能体直接把这句话交给采购系统,至少有几个字段无法确定:

  • 供应商是谁?
  • 交付日期是哪一天?
  • 价格是多少?
  • 交付地点具体是什么?
  • 是否已经经过部门审批?

这类问题不能靠一句“请不要编造信息”解决,而应该在产品流程上增加校验环节。

今天搭建的案例

我在 Haoee 上搭建了一个“采购申请提交前校验助手”。

首期目标不是自动下单,而是先完成:

  • 采购意图识别;
  • 字段提取;
  • 缺失信息提醒;
  • 冲突信息识别;
  • 工具参数预检;
  • 人工确认提示。

产品流程怎么设计?

第一步:采购申请拆解

智能体先把自然语言拆成结构化字段:

  • 供应商名称;
  • 物品名称;
  • 规格;
  • 数量;
  • 单位;
  • 含税单价;
  • 交付日期;
  • 交付地点;
  • 申请部门;
  • 申请人;
  • 采购用途。

这里最重要的规则是:

只提取用户明确提供的内容,不对缺失字段进行猜测。

比如用户说“下周送到”,系统不能自行填成某个具体日期。

第二步:字段与参数校验

随后检查:

  • 数量是不是大于 0 的数字;
  • 单位是否明确;
  • 日期是否是明确日期;
  • 供应商、物品和申请人是否为空;
  • 同一字段是否出现两个不同值;
  • 是否具备调用采购工具所需的全部参数。

如果条件不满足,工具状态应该是:

BLOCKED,禁止调用。

只有全部字段通过校验后,才允许进入:

READY_FOR_HUMAN_CONFIRMATION,等待人工确认。

第三步:生成最终报告

最终报告不直接说“采购成功”,而是区分三种状态:

  • 可进入人工确认;
  • 待补充信息;
  • 需要人工确认。

这一步的产品价值在于,智能体不会直接把“不确定”包装成“已完成”。

为什么不直接接入采购系统?

因为当前只是最小 Demo。

如果一开始就接采购系统,产品经理还需要先确认:

  • 采购系统接口;
  • 字段名称和类型;
  • 供应商编码;
  • 价格权限;
  • 审批状态;
  • 采购人权限;
  • 提交失败后的回滚方式。

这些内容没有确认之前,直接调用工具反而会放大风险。

因此,这次只演示参数预检,不执行真实提交。

这类产品应该关注哪些指标?

后续可以重点关注:

  • 缺失字段识别率;
  • 参数校验拦截率;
  • 错误工具调用次数;
  • 人工确认退回率;
  • 幻觉信息出现次数;
  • 采购申请一次通过率。

其中,“工具调用次数”不是越多越好。

一个好的智能体,有时应该明确告诉用户:

当前信息不足,暂时不能调用工具。

当前搭建状态

智能体结构已经完成配置并发布,但今天的发布对话测试受到模型路由问题影响,尚未完成端到端验收。

因此,当前版本可以作为产品流程 Demo,不能直接宣传为已经完成采购系统接入或生产验证。

本文由 @我叫小米粒 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!