入职AI创业公司，没人带、文档不全、环境不通？本文作者用五天时间从零搭建完整Agent评测体系，总结出9条生存法则：主动建立信息优势、用测试矩阵定位问题、理解Agent三层结构、把CEO的散点指令拼成地图。不讲空话，全是实操经验。

这不是一篇“入职指南”。

这是一篇“如果你进了一家AI创业公司，没人带你、文档不全、环境不通、同事各忙各的——你怎么活下来”的方法论。

过去五天，我从零搭了一套完整的 Agent 评测体系：三条评估标准、三套测试集、两轮 LLM Judge 批量跑、30条手工验证。CEO 当周就认可了我的方向和输出。

以下是我学到的东西。

1. 入职第一要务：建立信息优势

大多数人入职第一周在等电脑、等权限、等人告诉他要做什么。

不要等。

我的第一天：自己翻完公司知识库，看完 CMS 后台所有功能，拆完竞品 90 条测试，建完 9 个同事的档案。第一天结束，我是全公司知道最多的人。

方法很简单：系统性地问自己三个问题——

• 这个公司做什么？（产品全貌）
• 谁在做什么？（团队地图）
• 这个东西跟竞品比差在哪？（竞争位置）

不知道答案就自己找。文档没有就翻代码，代码没有就问人——但在问之前，先确保你已经做了你能做的所有功课。

创业公司的信息从来不是配发给你的，是你自己抢来的。

2. 创业公司没有“培训”这件事

这是最残酷也最真实的一点。

我入职第二天才知道要做什么——CEO 在群里说了一句“明天上午对一下”，我就直接去对方向了。

没有新人手册、没有交接文档、没有师傅带你跑流程。你只能：

• 自己看完所有能看的文档
• 自己搭讪所有能搭的人
• 自己判断优先级
• 自己去碰壁，然后从壁里爬出来

有一个瞬间我记得很清楚：我盯着一个报错页面，不知道是环境问题还是配置问题还是我操作失误。没有任何一个文档告诉我答案。

我只能建一个测试矩阵，一个一个变量排除，花了两小时定位到根因。

没有人会夸你“真主动”。因为在创业公司，主动不是加分项，是生存前提。你不主动，就没有人会注意到你还没跟上。

3. “不知道不知道”最可怕

我犯过一个典型错误。

入职第三天，评测环境一直不通，我以为是“我的账号权限有问题”，在群里发了好几条“服了”。后来和后端同事一对，才知道这个环境根本没有同步生产数据——也就是说，它本来就跑不通，和我的账号毫无关系。

这不是我的问题。

但我在没搞清楚之前就消耗了同事的注意力，还暴露了自己的焦躁。

这背后是一个认知陷阱：聪明人和普通人的差距不是知识储备，是知道自己需要先去搜集信息、构建上下文，再下判断。

后来我给自己定了一个规矩：

• 一个问题卡住 → 先列出所有可能原因
• 自己验证能验证的部分（换账号、换环境、换参数、查日志）
• 把剩下的整理成精确的问题，一次性问对人
• 在问之前，附上你已经排除掉的假设

不要拿着碎片到处问，也不要憋着不问然后耽误三天。提一个好问题的能力，比知道答案更重要。

4. “先测再说”是评测第一原则

我花了大量时间分析竞品架构，写了很多文档。

但真正最有价值的输出是：我坐下来，一条一条地测了 90 个用例。

测完发现，我之前的分析有一半是错的。竞品支持什么、不支持什么，跟官网功能列表完全是两回事。比如官网写着“支持多轮对话记忆”，实际上跨 session 就全丢了；文档说“支持自定义工作流”，结果只开放了三个固定模板。

产品经理最大的幻觉是“我觉得它应该能做到”。

不下场跑一圈，纸上分析全是瞎猜。

后来我的评测体系跑通之后，总结出一条铁律：

• 手工测 30 条，找到 7 个 bug，建立直觉——知道 Agent 在什么场景下会编台词、会越权判断、会偷偷跳过步骤
• LLM Judge 批量跑，拿到数据——有分数、有分布、有 Bad Case 聚类
• 两套方法互相验证：手工测发现 AI 容易漏掉的边界 case，AI 测覆盖手工做不完的量级

两条腿走路，比一条腿跑得快。只有判断没有数据 = 空话，只有数据没有判断 = 数字堆砌。

5. 理解 AI Agent 的“三层结构”

很多人以为 Agent 就是一个大模型接了个对话框。

不是。

我入职第五天才彻底搞明白：Agent = Profile + Skill + Tool 三层叠起来的。

打个比方：

• Profile（工作证）：定义 Agent 是什么角色、用什么模型、能碰哪些工具。就像员工进门刷的工卡——没这张卡，后面的都别谈。
• Skill（说明书）：告诉 Agent 在什么场景下做什么、怎么做。比如“用户说想退款 → 先查订单状态 → 再判断是否符合退款条件 → 执行对应操作”。
• Tool（工具箱）：实际干活的具体函数——查数据库、发邮件、调用 API。

这三层的坑我全都踩了一遍：

• 只配了 Tool 没写 Skill → Agent 不知道什么时候该用它
• 只写了 Skill 没配到 Profile → Agent 根本看不见这个 Skill
• 后端没部署好 → 工具箱不存在，前面配了也没用

很多 Agent 表现差，不是模型笨，是配置没对。评测测的不仅是 AI 的能力，更是人的配置有没有出错。 这一点，没做过实操的人永远不会理解。

6. 环境不通的时候，换一条路走

我有一整天都在跟评测环境搏斗。记录一下当时的惨状：

• #525 全挂了 → 没配 skill
• #526 全 404 → World ID 不存在
• #528 全 404 → User ID 不存在
• #536 全炸了 → 编码不支持中文

如果我一直等环境修好再测，那一天就什么都没干。

我的做法：环境不通就改手工测。 打开测试用例表格，一条一条地测、打分、录评语、找规律。花费的时间更长，但拿到了同等重要的结论——而且手工测发现的问题（Agent 会编台词、会越权判断版权、会自动跳执行）反而是批量跑可能漏掉的。

那天晚上我在日志里写了一句话：在创业公司，没有“等”这个选项。路不通就绕路。没路就开路。

这个原则后来帮了我很多次。环境挂了、接口崩了、权限没开——都不重要。重要的是：你今天有没有产出？用任何方式都行。

7. 把 CEO 的散点指令拼成地图

CEO 在周中跟我说了十几件分散的事：

• “skill 要同步配置”
• “埋点数据测一下”
• “画风先下掉”
• “冷邮件样式优化”
• “声音积分做一下”
• ……

如果你一件件去追，一周就没了。而且你会发现，很多事根本不该你做。

我的做法很简单：把 10 件散事拆成 4 件真正需要我做的事。

• 画风下掉 → 小王负责的，我只用确认一下
• 冷邮件 → 小解在跟，不用我插手
• 声音积分 → 小解的，我只用知道进度

我要做的只有四件事：

1. 等后端部署完跑评测
2. 确认 skill 配没配
3. 跑够 100 轮基线
4. 埋点测试

CEO 天生是发散型的——他看到什么说什么，想到什么提什么。你需要做收敛型的人——把碎片拼成地图，分清楚哪些是你的、哪些是别人的、哪些根本就不急，然后告诉团队哪条路先走。

8. 信息差就是你的壁垒

入职五天，我回头看，发现自己形成了三个关键信息差：

第一，竞品差。 我跑完了 90 条竞品评测，全公司只有我知道竞品能做什么、不能做什么、在哪些场景下会翻车。这些数据产品经理没有、CEO 没有、销售没有——只有我有。

第二，技术差。 我看了完整后端架构文档 + Agent 配置页 + 代码根目录文件，搞清楚了 Profile/Skill/Tool 三层之间的关系，以及当前哪些配置是生效的、哪些是摆设。

第三，人脉差。 我对齐了 CEO 的方向、对齐了后端开发的进度、搭讪了同期入职的新人——知道了谁手上有资源、谁卡在什么问题上、谁可以合作。

这三层信息叠在一起，形成了我对这个产品“从方向到代码到验证”的完整认知。开会的时候，我能同时接住 CEO 的战略问题、后端的实现问题、测试的执行问题。

在创业公司，信息就是权力。谁掌握最完整的地图，谁就能帮团队做最好的决策。 而最好的决策权，往往就意味着下一个项目的负责人是你。

9. 不说“我服了”，说“我发现了”

我犯过一个错误：环境不通的时候说了几次“我服了”。

虽然只是对自己说的，但如果被 CEO 或同事看到，传递给他们的信号是：“这个人遇到问题会抱怨”。

创业公司最稀缺的情绪资源是“镇定”。所有人都绷着一根弦，你的一句“服了”可能就把别人的弦也拨乱了。

后来我刻意改了自己的表达方式：

• 以前：“我服了，这环境又挂了。”
• 现在：“发现了，环境挂了，原因是 World ID 未同步，目前走不通，我换手工测。”

那几个字改一下，传递的信息完全不同：

• “我服了” → 这个人卡住了，需要别人来救
• “发现了，原因是 XXX，我换条路” → 这个人在解决问题，不需要我操心

语言塑造他人对你的认知。哪怕只是自言自语。 你说什么样的话，别人就把你当成什么样的人。

10. “做得出来”比“说得清楚”重要

我第一天写了很多分析文档——公司全貌、竞品分析、团队档案、技术架构梳理。

但说实话，这些文档真正被看到的不多。没有人有时间坐下来读一个新人写的万字分析。

反而是什么被看到了？

一个测试结果截图 + 一句“视频分析 80+ 分，可以上了”。

CEO 马上就回复了。

在创业公司，长篇文档的 ROI 很低。不是说文档不重要，而是形式要服务于效率：

• 结论先行
• 数据证明
• 一句话说清楚
• 周会汇报三个关键词撑住，比十页 PPT 有效

CEO 的时间颗粒度是 30 秒。如果你不能在 30 秒内让他知道结果和下一步，你的报告就白写了。

在创业公司，交付物只有两种：跑起来的东西，和能让人立刻做决策的信息。 其他的都是库存。

最后的话

这一周我最深的感受是：在 AI 创业公司，没人知道你该做什么。你自己定义了——然后你去做了。做到了，你就定义了你的位置。

入职第一周，我从零搭完了完整的评测体系、跑了 35 条 LLM Judge、手工验证了 30 条、登记了 9 条 bug、拆了竞品的核心架构。

而在这个过程中，没有一份岗位说明书告诉我要做这些。

没有任何人分配任务给我。

我只是看到了一个缺口——公司需要一个成体系的评测方案，没有人做——然后我跳进去，把它填上了。

定义了就去做。做了就做到了。

这就是创业公司的生存法则。也是它最迷人的地方。