为什么你问AI得到的总是“十全大补汤”？因为AI不懂你的业务，而大多数人只把AI当搜索引擎，却没把它当成需要“喂料”的分析助手。本文通过某音乐APP“注册送会员”的真实案例，拆解了高效利用AI进行活动评估的四步法。

都说AI能提效，为啥你从AI问来的，不是十全大补汤，就是泛泛而谈？今天上个大厂的具体案例，带大家看一下如何高效处理分析问题：

场景还原：

某音乐类APP，对新用户进行一个新注册即送7天会员权益的活动，用户注册后，自主决定是否点击领取，为期1个月，问：如何评价该活动。

如果直接扔问题给AI，大概率得到一锅泛泛的十全大补汤（如下图）

第一步：清晰活动目标

一个活动可能影响方方面面，比如开篇场景，有送东西，你说：

1、能增加新用户注册——没毛病；

2、能增加会员购买机会——似乎有机会

3、能提升忠诚度减少流失——似乎也有道理

4、能增加DAU！——理论上新注册多了，DAU也增加。

事后观察，这几个指标肯定都有波动。到底哪个是主目标，需要提前和业务确认清楚。

AI不能替代你和业务做沟通！

这一步很重要，事情不说清楚，事后很难有清晰的判断

注意！有些人喜欢扯：“我的活动改变的是用户心智，要把品牌认知度提升做目标”。做数据评估，最忌讳这种无法直接用系统记录的东西。

如果有人这么提要坚决怼回去，如果AI这么提，需要求AI删掉无法直接通过埋点/交易系统记录的指标。

第二步：设定判断标准

有了清晰的主指标，可以找判断标准。找标准有四个基本思路：

1、从整体结果出发，看总量。比如本月共需要10万新用户，必须做到！

2、同无活动对比，看增量。比如无活动时一个月5万，活动期要比5万多。

3、同过往活动对比，看效率。比如拉新活动一般100块一个新人，这次尝试压缩到90。

4、同无参与的用户对比，看差异。比如分无参与组/参与组，对比参与组新注册数/留存率。

选择何种方式，和活动目标有直接关系：

1）对于618一类大促，一般看整体效果

2）对于一次性且目标明确的活动（比如某新品推广/老婆退市）， 选看增量

3）对于持续不断地活动（比如每个月固定促活，但是形式会换抽奖、转盘、种菜）选择看效率

4）对于只针对某个群体活动，可选择ABtest，看参照组对比（如下图）

如果自己不了解怎么判断，可以向AI要建议。

第一次写提示词，可以直接写：请给出ABtest和非ABtest两个评估方案。

此时，AI会给你输出方案，并且指出：当前情况下更适合用哪种。

需注意，AI喜欢生成带“模型”字样的结果，比如前后对比，AI有可能建议你做PSM+DID，以回归模型计算DID效果……其实并不见得这么复杂，DID本质就是前后对比，不纠结也行。          

第三步：梳理活动流程

清晰目标以后，可以进一步梳理活动流程。比如开篇问题里的新用户送权益，可以按如下梳理（如下图）：

除了过程指标，还可以记录每个环节的业务动作，比如：

1）设计宣传文案→影响注册率→ 文案有几个版本

2）设计领取流程→影响领取率 → 当前流程VS 以前的更长/更短

3）领取后购买提醒 → 影响会员新增指标→ 本次是否有提醒

这样能事前检查埋点是否做充分，有数据记录；事后复盘才能从整体到具体，看哪个环节有改善空间（如下图）

第四步：找影响结果的过程

有了“好/坏”判断。就能进一步分析为啥好，为啥坏。

这时候就需要细化梳理业务流程，找到能影响结果的关键点。

比如文章开篇的拉新活动：广告投放渠道、广告文案、注册流程、进去以后提示权益方式、领取会员权益流程，都会有影响（如下图）。

在分析这些指标的时候，需要建立漏斗分析，逐一排查各因素影响。

注意，AI不知道你的活动流程和具体做法，如果想借助AI辅助，可以在提词里，将详细的流程直接描述给他（或脱敏后，上传活动方案）要求AI先基于流程输出活动过程指标与分析维度，再输出可能的问题假设。不然AI给的过程分析肯定不够

细综上可见，想做好活动评估，需要：

1）对业务有理解，主动提示业务设立目标

2）围绕目标，选择合适的判断标准

3）对ABtest等手段有了解，设计实验

4）能梳理流程，并围绕流程进行分析

AI不懂你的业务，就只能泛泛而言。AI+懂业务+数据思维，才好更高效解决问题。