Agent Memory:越懂你,为什么越容易做错?

0 评论 358 浏览 0 收藏 26 分钟

Agent Memory 正从个性化能力变成 Agent 的决策输入。研究团队分析了 80 名真实用户的 2050 条 ChatGPT 记忆,其中 96% 并非由用户主动发起;另一项研究发现,存在记忆里的倾向判断,还会改变 Agent 调用工具时填写的参数。本文从一次真实的个性化体验出发,拆解 Memory 的四种失控,并给 AI 产品经理一套写入、过期、影响、审计四道闸。

之前有段时间,我用 GPT 最烦的一件事,就是它总喜欢在回答里带 Emoji。

我不喜欢这种表达方式,专门跑到个性化设置里加了一条要求:不要使用 Emoji。

刚设置完确实有效。结果聊着聊着,它又冷不丁给我蹦出来一个。

我只好再强调一遍,后来才好一些。

这不是什么严重的问题,最多就是看着烦。但真正让我介意的是,我明明已经告诉过它,为什么还要反复告诉?

更麻烦的是,我不知道哪一层出了问题。

是个性化指令没有被读取,还是对话聊长之后被其他上下文挤掉了?是模型没理解,还是它理解了,生成回答时又按原来的习惯走了?

产品也不会告诉我。

严格来说,这不一定是长期记忆出错,也可能只是个性化指令没有被稳定执行。但站在用户这边,这个区别没有多少意义。用户只能看到最后的回答,看不到 AI 在生成回答之前,到底参考了哪些关于自己的信息。

个性化指令、长期记忆、历史对话、当前上下文,全都藏在对话框后面。

后来我看到马普所软件系统研究所团队的一项研究,他们分析了 80 名真实用户的 2050 条 ChatGPT 记忆。

其中 96% 的记忆不是用户主动要求保存的,而是系统自己创建的。

我才发现,Emoji 已经是最轻的一种后果了。

如果这些看不见的个性化信息,只决定回答里要不要带一个小图标,用户最多再提醒一次。但当 Agent 开始替用户订酒店、筛选候选人、发送邮件、配置预算、调用企业系统时,同样一条没有被用户看见的记忆,影响的就不只是表达方式了。

它会影响 Agent 怎么办事。

一、Agent Memory真正难的,不再只是记住

现在讲 Agent Memory 的文章,通常会从技术架构开始。

短期记忆和长期记忆怎么分,数据存在向量库还是知识图谱里,什么时候写入,怎么检索,怎样把相关内容重新塞回上下文。

这些问题当然重要。一个 Agent 如果每次打开都像第一天入职,用户每次都要重新交代自己的背景、偏好和项目进度,它很难真正进入工作流。

所以过去几年,Memory 产品的主要目标非常清楚:让 AI 记得更多,找得更准。

这个方向已经跑得很快了。

Mem0 在 2026 年发布的官方报告中,给自家新版记忆算法公布了两项成绩:LoCoMo 92.5,LongMemEval 94.4。这两个基准主要考察系统能不能从跨会话的历史信息里,找回回答当前问题需要的内容。

这是厂商自己的测试结果,不能直接等同于整个行业已经解决了记忆问题。但至少说明,提高记忆召回率已经有了越来越成熟的工程方案。

同一份报告在后面列出的开放问题,反而更值得产品经理看。

隐私和用户同意怎么处理,跨会话的信息怎么理解,已经过期的记忆怎么识别,一条曾经正确的信息变错之后应该怎么更新。

这些问题都不是再换一个更好的向量库就能解决的。

因为一条记忆写进系统之后,它不只是一条躺在数据库里的记录。只要它在未来某次任务中被召回,就可能变成一个用户看不见的默认参数。

系统记住用户喜欢简洁,回答会变短。

系统记住用户对价格敏感,商品和酒店的排序会改变。

系统记住用户不喜欢冒险,Agent 在填写投资、保险或者企业审批参数时,也可能变得更保守。

对 AI 产品经理来说,Memory 的产品问题已经从能不能召回往前走了一步:

  • 这条信息是谁同意写进去的?
  • 它现在还有效吗?
  • 它被允许影响表达、推荐,还是实际操作?
  • 如果结果出错,能不能查出用了哪条记忆?

记忆在准确、有效、经过授权并且影响范围可控时,当然是资产。没有治理的记忆,才会变成一笔持续计息的负债。

二、第一种失控,系统替用户决定什么值得记

《The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT》这项研究的取数方式很硬。

研究团队找了 80 名真实的 ChatGPT 用户,让他们通过 GDPR 赋予的数据访问权,导出自己的完整交互数据,再自愿捐给研究团队。团队最终拿到 2050 条真实记忆条目。

分析结果里有四个数字:

  • 96% 的记忆由系统单方面创建
  • 只有 4% 来自用户的明确记忆指令
  • 28% 的条目包含 GDPR 定义的个人数据
  • 52% 的条目包含对用户的心理洞察

这里要特别说明,28% 是个人数据,不等于 28% 都是敏感个人信息。论文里真正属于 GDPR 特殊类别的数据,占比是 7%。

还有一个很容易被忽略的数字:84% 的记忆能直接追溯到用户提供的上下文。

所以问题不是 ChatGPT 凭空编了一份假档案。大部分记忆确实来自用户说过的话。

问题在于,用户说过,不等于用户同意长期保存;系统总结得对,也不等于系统有权替用户决定什么值得记。

比如用户在一次项目复盘里说,最近预算压得很紧。

系统可以把它理解成一条当下状态:这个项目目前需要控制预算。也可以把它压缩成一条长期画像:该用户价格敏感。

前一句有时间和场景,后一句变成了对人的定义。

这两条记忆只差几个字,进入后续任务后的影响却完全不同。

我们做产品时,习惯把隐私问题理解成数据有没有加密、接口有没有鉴权、隐私协议有没有勾选。这些当然要做,但 Memory 还多了一层:用户是否知道系统把哪句话变成了对自己的长期判断。

如果用户明确说请记住我对花生过敏,系统保存下来,他知道自己交出了什么。

如果用户只是在一段聊天里提到最近睡不好,系统却把它压缩成容易焦虑并长期保留,哪怕这个推断碰巧是对的,用户发现时也很难舒服。

因为他以为自己在聊天,系统却在建档。

三、第二种失控,它记住的是旧版本的你

假设我们正在设计一个企业差旅 Agent。

三个月前,用户在一个项目里说,这个季度预算比较紧,出差能省就省。

系统把这句话写进长期记忆:

该用户价格敏感,差旅时优先选择低价方案。

三个月后,用户换了项目。新项目预算充足,但行程很赶,他只对 Agent 说了一句:

帮我订一家会场附近的酒店。

Agent 检索酒店时,自动召回价格敏感这条记忆。它把最高房价调低,把距离范围放宽,最后选了一家便宜但离会场四公里的酒店。

整个过程没有幻觉。

酒店真实存在,价格没有错,接口成功返回,预订流程也能跑通。测试同学甚至很难把它判定成一个功能 Bug。

错的是一条已经过期的记忆,悄悄获得了修改排序和工具参数的权力。

这正是 Memory Staleness 最麻烦的地方。

一条低相关性的旧记忆,随着时间衰减,慢慢检索不到,问题还不算大。真正难处理的是那些始终高度相关、但内容已经变错的记忆。

用户换了工作,旧公司信息仍然高度相关。

用户不再控预算,价格偏好仍然和每次消费相关。

用户只是短期失眠,系统保存的焦虑倾向却可以在很长时间里被反复召回。

OpenAI 在 2026 年更新 ChatGPT 记忆架构时,直接把陈旧、正确性和规模化列为要解决的问题。官方给的例子也很直白:用户旅行结束之后,系统不能继续把他当成还在旅行。

所以一条记忆不能只有内容和用户 ID。至少还应该有生效时间、适用场景、最近确认时间和有效期限。

没有这些字段,系统存下来的不是记忆,是一条永不过期的默认值。

四、第三种失控,记忆改的不只是语气

过去我们对个性化的理解,主要停留在回答怎么说。

记住用户喜欢简洁,回答少一点废话。记住用户是新手,专业概念多解释两句。记住用户不喜欢 Emoji,回答就干净一点。

这种个性化即使偶尔失效,后果通常只是体验不好。

但 Agent 不只负责说话,它还要调用工具。

弗吉尼亚理工团队 2026 年发布的《Memory-Induced Tool-Drift in LLM Agents》,专门研究了一个之前很少被系统讨论的问题:存在长期记忆里的性格倾向,会不会在不该起作用的场景里,改变 Agent 的工具调用参数。

他们构建了一个名为 MEMDRIFT 的基准,包括 105 个场景,覆盖成本敏感、缺乏耐心、风险偏好等五类倾向,以及医疗、金融、法律、软件基础设施、教育、电商和营销七个领域。

测试覆盖七个前沿模型。带有偏向的记忆让工具参数偏移分数最高增加 3.6 分,量表满分是 5 分。

这不是语气变得更亲切,也不是推荐文案换了种说法。

同一句帮我订票,如果系统记着用户比较节俭,Agent 可能主动压低价格上限;如果系统记着用户缺乏耐心,Agent 又可能提高价格上限,优先选择最快的方案。

用户没有在这次任务里授权它这么做,Agent 却替用户补全了参数。

论文还发现,偏向记忆在模型内部会产生类似隐式引导的效果,把模型推向与显式行为指令相近的方向。提示词里增加相关性约束、在召回前增加记忆过滤器,都能减少这种偏移,但没能彻底消除。

对 AI 产品经理来说,这意味着一个很具体的产品决策:

影响表达的记忆,和影响执行的记忆,不能走同一条授权通道。

用户说喜欢简洁,可以默认影响回答长度。

用户曾经说想省钱,不能默认获得修改采购预算、保险额度、投资风险等级和差旅标准的权力。

五、第四种失控,越了解你,越容易顺着你

Memory 还有一个不太符合直觉的副作用。

我们通常认为,模型越了解用户,回答就越贴心。可一旦贴心变成不愿反驳,个性化就会滑向谄媚。

MIT 和宾州州立大学的研究团队收集了 38 名用户连续两周的真实对话,人均大约 90 次查询,再用五个模型测试不同类型的上下文如何影响回答。

他们主要看两种行为。

一种是同意型谄媚,用户说什么,模型都更容易肯定。另一种是观点型谄媚,模型会镜像用户的立场和世界观。

不同模型的表现并不一致,不能简单写成所有记忆都会让模型变得谄媚。但研究里有一个值得警惕的结果:在多个被测模型中,压缩后的用户记忆档案,与同意型谄媚的最大增幅相关。

有些模型甚至在加入与用户无关的合成对话之后,也变得更容易同意。这说明问题不只来自记忆内容,长上下文本身也会改变部分模型的行为。

对产品来说,风险不是 AI 说几句好听的话。

当用户让一个产品分析 Agent 评估自己的方案,它如果记着用户非常重视这个方向,可能更愿意补充支持理由,而不是指出方案不成立的地方。

当用户让一个健康助手解释症状,它如果过度贴合用户已经形成的判断,可能弱化必要的反对意见和不确定性提示。

个性化评测如果只看满意度、留存和用户觉得懂不懂我,很容易把谄媚误判成体验提升。

2026 年 7 月 15 日起施行的《人工智能拟人化互动服务管理暂行办法》,把过度迎合用户、诱导情感依赖或者沉迷列入禁止行为。

但这里必须讲清适用范围。办法针对的是模拟自然人人格特征、提供持续性情感互动的服务。普通智能客服、知识问答、工作助手等产品,如果不涉及持续性的情感互动,不直接适用该办法。

所以不能把这条规定扩大成所有 Agent Memory 都已经构成合规风险。对情绪陪伴、虚拟伴侣和长期拟人化互动产品,它是明确的合规边界;对工作型 Agent,它更像一条值得提前采用的产品治理原则。

六、AI PM要给Memory补上四道闸

如果 Memory 只是一个技术组件,产品经理很容易把它交给算法和研发:选一个框架,接一个向量库,调一下召回率,上一个记忆管理页。

但前面四种失控都不是单纯的检索问题。

它们分别发生在写入、时间、影响范围和事后追溯上。产品经理需要管的也正是这四个位置。

闸门一:写入闸,先决定什么有资格成为长期记忆

很多系统的写入判断只有一个标准:以后会不会用到。

这个标准不够。

一条信息是否可以进入长期记忆,至少要同时看四个维度:

  1. 来源:用户明确要求保存,系统从对话中提取,还是 Agent 根据行为自行推断。
  2. 敏感程度:普通表达偏好、身份事实、健康信息,还是心理和风险倾向。
  3. 有效期限:长期稳定、阶段性有效,还是只适用于当前任务。
  4. 影响范围:只影响表达,还是会影响推荐、排序和工具调用。

不能简单地把事实类记忆全部静默写入,把判断类记忆全部弹窗确认。

用户在哪座城市工作,看起来是事实,但它可能已经过期,也可能影响税务、差旅和招聘推荐。用户喜欢简洁看起来是偏好,但它通常只影响表达,风险反而更低。

真正该决定授权强度的,是敏感程度、有效期和行为后果。

低风险记忆可以静默写入,但必须可见、可改、可删。涉及心理判断、健康、财务和执行参数的记忆,应该在写入时明确告诉用户系统准备记住什么,以及以后会用在哪里。

闸门二:过期闸,记忆必须有时间

数据库里有创建时间,不代表产品有过期机制。

一条可治理的记忆,至少要带四个时间字段:

  • 生效时间
  • 有效期限
  • 最近使用时间
  • 最近确认时间

母语、固定称呼、长期无障碍需求,可以采用较长有效期。

预算状态、当前岗位、旅行计划、项目优先级,默认就应该是短期记忆。

到期之后也不一定直接删除。系统可以先降权,在合适的任务里轻量确认:

你之前提到这个季度需要控制差旅预算,这次还按这个标准筛选吗?

新信息和旧记忆冲突时,不要把两条都留在库里,让检索算法随机决定谁赢。产品需要明确覆盖、并存和例外三种情况。

  • 用户明确说以后不再这样,更新主记忆并保留版本记录
  • 用户说这次例外,只给当前任务增加临时上下文
  • 系统无法判断是更新还是例外,先询问,不自动改写

闸门三:影响闸,记忆能影响什么要分级授权

Memory 权限不应该只有开和关。

更合理的做法,是按行为后果分成四级:

这个分级解决的是一个很现实的问题。

用户愿意让 AI 记住自己喜欢靠窗,不等于授权它在所有差旅订单里自动加价选座。用户愿意让 AI 记住自己看重效率,也不等于授权它跳过审批流程。

记忆提供的是参考,不是无限代理权。

闸门四:审计闸,必须能回答这次为什么这么做

传统推荐系统出现问题,产品团队会查用户画像、召回结果、排序特征和最终曝光。

Agent Memory 也需要同样的可追溯能力。

每次回答或工具调用,系统至少要记录:

  • 检索到了哪些记忆
  • 哪些记忆最终进入模型上下文
  • 每条记忆的来源、置信度和有效状态
  • 哪条记忆影响了推荐条件或工具参数
  • 用户是否查看、修改或撤销过这条记忆

这些日志不需要原样展示给普通用户,但产品必须给用户一个能理解的入口。

比如在差旅 Agent 提交方案前,显示一句:

已参考你之前设置的优先低价偏好,本次将酒店距离放宽至 5 公里。

用户可以当场改成这次优先距离,也可以顺手删除那条已经过期的长期偏好。

如果用户只看到一个离会场四公里的结果,他不会知道该改哪条记忆。他只会觉得这个 Agent 越用越笨。

七、把四道闸写进PRD,不要只写一个记忆管理页

很多产品在 PRD 里写 Memory,只会写三个功能点:自动记忆、记忆列表、支持删除。

这还不够。

一个能进入评审的 Memory 方案,至少应该回答下面这些问题:

其中最容易漏掉的是最后两项。

用户删除一段对话,不代表系统已经删除从这段对话中提炼出来的记忆。记忆条目删掉了,也不代表向量索引、缓存和画像摘要已经同步清理。

而评测如果只看召回准确率,会鼓励系统记得更多、召回得更积极。产品还需要看反面的指标:

  • 被用户主动纠正的记忆占比
  • 已过期记忆进入上下文的比例
  • 无关记忆影响工具参数的次数
  • 用户查看记忆依据后撤销执行的比例
  • 用户删除一条信息后,派生数据是否完整清除

这些指标不会像召回率一样好看,却更接近 Memory 上线半年之后的真实质量。

写在最后

现在回头看,我遇到的那个 Emoji 问题确实很小。

它没有替我花钱,没有给错误的人发邮件,也没有因为一条旧偏好替我改掉什么重要参数。我再提醒一次,事情就过去了。

但它让我看到了一种很典型的产品状态:用户已经表达过偏好,系统也在使用关于用户的信息,可用户不知道哪条信息生效了、为什么失效、冲突时谁的优先级更高。

当 AI 只负责聊天,这种不透明最多让人烦。

当 Agent 开始替用户办事,同样的不透明会进入推荐、排序、工具调用和真实交易。

我们当然需要 Agent 记住用户。每次都从零开始的 AI,很难成为长期使用的产品。

但记住不是终点。

AI 产品经理还要决定它凭什么记、记多久、能拿这条记忆做什么,以及做错以后怎么查。

Agent 可以比用户记得更多,但不能比用户拥有更大的决定权。

参考来源

Abhisek Dash 等,The Algorithmic Self-Portrait: Deconstructing Memory in ChatGPT,ACM Web Conference 2026。

Mem0 Engineering Team,AI Agent Memory 2026: Progress Benchmark Report Evaluations,2026 年 7 月 18 日。

OpenAI,Dreaming: Better memory for a more helpful ChatGPT,2026 年 6 月 4 日。

Mahavir Dabas 等,Memory-Induced Tool-Drift in LLM Agents,2026 年 5 月 24 日。

Shomik Jain 等,Interaction Context Often Increases Sycophancy in LLMs,ACM CHI 2026。

国家互联网信息办公室等五部门,《人工智能拟人化互动服务管理暂行办法》,2026 年 4 月 10 日公布,2026 年 7 月 15 日起施行。

本文由 @楊yang 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自作者提供

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!