Agent上线三个月，账单从800元飙到8000元？不是模型太贵，而是产品设计从未将成本纳入考量。本文从PM视角拆解Agent成本结构，提供任务拆分、上下文管理、模型选型三层设计框架，让成本可控而非事后救火。

你的Agent上线三个月，账单涨了10倍

一个真实场景：某电商团队做了个客服Agent，上线初期日均API调用费用约800元，三个月后涨到了8000元，业务量只增长了2倍。

问题出在哪？

不是模型太贵，不是用户太多——是产品设计从来没把成本当成一个设计维度。

这不是个例。大多数PM在做Agent产品时，成本控制被当成“工程的事”，等到账单爆炸才回头重构。

这篇文章帮你建立一套PM视角的Agent成本设计框架，从源头控成本，不是事后救火。

先搞清楚：Agent的钱都花在哪里

Agent的成本结构和普通API调用完全不同，有三个主要来源：

1. Context Token消耗

每次Agent调用模型，都要把上下文塞进去——系统提示词、历史对话、工具返回结果、检索内容……一个复杂任务跑下来，单次调用的context轻松超过50K tokens。如果是多轮对话Agent，每轮都要重传完整历史，成本随对话轮次线性增长。

2. 工具调用次数

Agent的核心能力是调用工具——搜索、读文件、调API、写数据库。每次工具调用可能触发新的LLM推理（判断结果、决定下一步），一个“查一下竞品价格”的任务，后台可能跑了8次模型调用。

3. 重试与兜底调用

Agent失败率比单次API高得多。任务理解偏差、工具返回异常、输出格式错误……每次重试都是成本。设计不好的Agent，重试率可以高达30%。

PM需要记住一个公式：

总成本 = 单次调用成本 × 调用次数 × (1 + 重试率)

三个变量，每个都是设计决策，不是技术黑盒。

第一层：任务拆分设计——控制”调用次数”

最贵的不是单次调用，是不必要的调用。

常见的浪费模式：

• 用重型模型做轻量判断：GPT-4o做”这句话是问题还是陈述”的分类，浪费80%的成本
• 不加缓存的重复查询：同一个用户今天问了3次”我的订单状态”，每次都重新调模型
• 串行工具调用替代并行：先查库存→再查价格→再查物流，三步可以并行，却按顺序跑，时间×3，成本×3

PM的设计动作：

1. 任务路由层：在进入主Agent前，先用轻量分类器判断任务类型。简单FAQ直接走知识库返回，不过模型；复杂推理才进大模型。这一步通常能减少40-60%的主模型调用。
2. 结果缓存设计：哪些查询结果可以缓存？缓存多久有效？这是PM要在PRD里定义的，不是工程自己决定的。客服场景里，70%的问题是重复的，缓存命中率决定了成本基线。
3. 并行工具调用：当多个工具调用之间没有依赖关系，应该并行执行。这需要PM在流程设计时就标注清楚哪些步骤可以并行，而不是默认串行。

第二层：上下文管理——控制”单次调用成本”

Context是成本的隐形杀手，因为它不可见。

几个数字感受一下：

• GPT-4o的输入token约$2.5/百万tokens
• 一个包含历史对话的客服请求，context可能是5K tokens
• 100万次调用/月 × 5K tokens = 50亿tokens = $12,500/月
• 如果context能压缩到2K tokens，直接省下$7,500/月

PM能做的上下文控制设计：

摘要替代原文：不要把完整对话历史塞进context，而是让Agent在每轮结束后生成一段”阶段摘要”，下一轮只传摘要。3000字的历史压缩成200字，成本降80%。

分级记忆设计：参考MEMORY.md的思路——

• 工作记忆（当前任务上下文）：每次都传，控制在2K以内
• 情节记忆（近期交互历史）：按需检索，不默认传入
• 语义记忆（用户偏好/背景知识）：用RAG检索，不直接塞context

工具返回结果压缩：工具返回的原始数据往往很冗余。搜索结果返回了10篇文章全文，但Agent其实只需要标题和摘要。在工具层做结果压缩，是最容易被忽视的成本优化点。

第三层：模型选型设计——控制”单位成本”

不是所有任务都需要最强的模型。

建立任务-模型映射表，这是PM在方案设计阶段就要输出的产物：

| 任务类型 | 推荐模型级别 | 成本对比 |

|———|————|———|

| 意图分类、槽位提取 | 小模型（如Claude Haiku、GPT-4o-mini） | 主模型的1/10 |

| 信息摘要、格式转换 | 中等模型 | 主模型的1/3 |

| 复杂推理、代码生成 | 主力模型（Claude Sonnet、GPT-4o） | 基准价 |

| 长文档深度分析 | 长上下文专项模型 | 按需评估 |

一个典型的分级调用架构：

• 用户输入 → 意图分类（小模型）→
• 简单意图 → 知识库直接回答（0成本）
• 中等意图 → 工具调用+摘要（中等模型）
• 复杂意图 → 主力模型完整推理

这套架构在实际项目中，能把平均单次成本降低55-70%。

给PM的三个核心设计原则

1. 成本要进PRD，不是上线后再看账单

每个Agent功能点都应该有预估成本，和用户价值对比ROI。“用户每次查订单，我们花多少钱”——这个问题PM要能回答。

2. 建成本监控，和功能监控同等级别

Token消耗、调用次数、重试率、缓存命中率——这些是Agent的核心健康指标，不是工程内部数据。PM要看这些数字，和DAU、转化率放在同一个dashboard。

3. 用户价值和成本要同向增长

如果用户活跃度涨了2倍，成本涨了10倍，说明产品设计有问题。健康的Agent产品，随着规模增大，单位成本应该下降（缓存命中率上升、流程优化积累）。

最后

Agent不是越智能越贵的黑盒，成本是可以被设计的。

任务路由、上下文管理、模型选型——每一层都是PM的决策空间，不是工程师的专属领域。

建立成本意识，是AI时代PM的基本功之一。