随着AI技术的快速发展，一种名为“合成用户测试”的研究方式悄然兴起，试图通过AI生成的“虚拟用户”来模拟真实的用户体验研究。这种看似高效、低成本的测试方法，是否真的能够替代传统的真实用户研究？

当下，一种名为”合成用户测试”的 AI 研究方式正在兴起——通过人工智能生成的”虚拟用户”来模拟用户体验研究。这种技术已经从最初的桌面研究，逐渐渗透到产品可用性测试领域，只不过测试对象变成了会”演戏”的 AI 角色。简而言之，这就是一场没有真实用户参与的”用户体验研究”秀。

一款无需真实用户即可进行“合成测试”的工具。 图片来源：[Synthetic Users]

这种做法看似荒诞，却正被越来越多的企业采纳，用以指导商业决策。然而这种”研究”不仅危险、高风险且成本高昂，更会严重削弱产品的用户价值。

快速、廉价、便捷…但纯属虚构

正如埃里卡·霍尔（Erika Hall）的经典论述：”设计’以人为本’的程度，取决于商业模式的容忍度。”当企业决策长期依赖直觉、假设和个人观点时，他们自然对严谨的用户研究缺乏兴趣。

用户痛点正是创造价值的机会。图表来源：[Erika Hall]

与传统用户研究相比，这种美其名曰”合成测试”的 AI 研究具有快速、廉价、可重复的优势。它不会提出令人不适的问题，不会推翻既有假设，无需招募用户，也省去了冗长的讨论过程。更吸引人的是，它能同时操控数千个 AI 角色，通过分析 AI 生成的数据来”发现”用户旅程、导航模式和预期行为。

听起来很美好？但问题恰恰由此开始。

大语言模型本质是”讨好型人格”

优质的用户研究必须植根于真实发生的事件，而非臆测。而大语言模型（LLMs）的本质，是基于训练数据生成最”合理”的输出——这些数据来自网络上所谓”典型用户”的行为模式。问题是，这些用户根本不存在。

默认情况下，AI 生成的用户画像既未经筛选也不具代表性。要让输出结果勉强可用，我们必须精心设计提示词，详细说明真实用户的特征和行为模式。即便如此，AI 也无法生成超出预设范围的洞见——而这恰恰是真实用户研究最珍贵的部分。

大语言模型存在”幻觉”问题，但新模型在部分任务上表现更优。 图片来源：[Nature.com]

真正的用户洞察往往来自意外行为——可能是用户言行不一的瞬间，或是未被察觉的情感线索。这些都无法通过文字生成来复现。

AI 用户研究”有总比没有强”的谬误

帕维尔·萨姆索诺夫（Pavel Samsonov）犀利指出：模仿用户说话毫无意义，只有用户实际说过的话、做过的事才值得研究（即便可能存在夸张）。AI 生成的用户研究非但不是”有总比没有强”，反而会制造虚假的用户体验幻象——往好里说是合理推测，往坏里说就是具有误导性的无效信息。依赖这种”洞察”，跟算命先生看手相没什么两样。

机械化决策的隐性成本

AI 自动化决策往往伴随着三大代价：缺乏鉴别力、鼓励同质化、牺牲质量。正如玛丽亚·罗萨拉（Maria Rosala）和凯特·莫兰（Kate Moran）所述，AI 研究必然存在偏差，若没有真实研究作为对照，这些偏差将无法被发现和纠正。

更可怕的是，合成测试假设用户都能被简单归类，而现实中人类行为受经历、情境、习惯等复杂因素影响。AI 只会强化偏见、验证主观臆断，并放大刻板印象。

交叉验证法优于单一验证

当然，AI 在早期探索阶段能提供有价值的切入点。但它同样会带来虚假印象和未经验证的结论——而且总是以令人信服的确定性呈现出来。

以真实用户研究为起点始终是最可靠的选择。完成真实研究后，再用 AI 查漏补缺未尝不可。AI 应该辅助而非替代用户研究。

通过叠加分析线性用户旅程，识别高频使用场景。（图表来源：[John Cutler]

需要警惕的是，人们常试图用真实用户测试来”验证”AI生成的”洞察”。但心理学研究表明，一旦某个观点在我们脑中形成，我们会不自觉地在各处寻找支持它的证据——即使这个观点本身是错误的。

正确的做法是：先研究真实用户，再通过数据交叉验证——将用户行为数据与产品分析数据交叉比对。当多方数据共同验证某个假设时，我们才能更有把握地推进决策。

结语

可能有人觉得我过于武断，但我一直在思考：为什么人们急于用 AI 工具取代用户体验工作？优秀的设计需要大量的批判性思维、细致观察和周密规划。

就个人经验而言，清理 AI 生成内容的谬误所耗时间，往往超过从头开始做研究。与真实用户对话的价值无可替代——我宁愿花一整天接触一个真实用户，也不愿花一小时观察一千个装模作样的 AI 角色。