LLM 产品研发中调 Prompt 常出现 “按下葫芦浮起瓢” 的问题，而靠 “凭感觉测” 的体感测试，因大模型的非确定性和 Prompt 的高度耦合性，根本无法保障模型效果。本文直击这一痛点，详解 AI 产品自动化评估体系的从 0 到 1 搭建方法，包括构建黄金数据集、设计评估指标、引入 LLM-as-a-Judge 三大核心步骤，还阐述了产品经理在评估体系中的核心价值与进阶工作，指出这套体系是告别玄学调优、构建 AI PM 认知护城河的关键，更是 AI 产品科学迭代的基础。