运营技巧 | 文案A/B test该如何操作?

零基础学产品,BAT产品总监带,2天线下集训+1年在线课程,全面掌握优秀产品经理必备技能。了解详情

今天分享的内容是短信A/B测试的思路。

触点渠道的尴尬

文案的A/B Test相信大家都接触过,做过,或者听过,所谓文案A/B Test就是选一类或两类用户作为样本,通过对他们投放不同的文案,来找到究竟哪种文案对官方希望引导的行为更有帮助,然后再向更大样本的用户群进行推广的一种测试方法。

所以,你看,它是一种测试方法。

好多年以前,当我们讨论一个活动推出去,如果没有人来参加能够做什么,这样的话题的时候,其中有一个方法就是:

把活动广告图做些调整,然后重新投放试试引流效果会不会好一些。

这种方法其实是A/B Test的延续,也可以从另一个角度认为这种方法是A/B Test尚未流行时的有同样原理的粗糙原型。

只是,如果将这种方法提前到活动开始前的预热,对不同渠道的同一类用户推送不同内容的预热文案,甚至预热页面的时候,就可以在正式活动时的Banner设计上做得更加精准。

而短信、EDM这些渠道也都是如此。

只是,由于短信和EDM渠道被早年的电商玩得有点坏——几乎所有渠道的电商测试出来的效果,都是用户要优惠,于是,所有电商的思路也都很一致的推荐打折信息、活动信息,用户疲劳之后,再利用这些渠道就比较困难。

但实际上,这依然是因为对用户的理解太粗放导致的。

而尴尬的是,即使是在智能手机的Push上,也嫌少有应用真正做到十足的精细,不信看图:

亮哥把手机上有关电商与导购的一些Push留了下来,大家可以看一下,除了第一张图,红线框出的部分,可以肯定是天猫根据之前的购买习惯Push给用户的,其他的看起来大多数都和用户的习惯没什么关系,但是和企业的需求有直接关系。

说实话,连天猫这个消费习惯Push我都有点不想打开——因为湿巾每次买都会很多,而消耗起来又没有那么快,其他的Push就更加不会打开了。

短信神马的,是不是一样的逻辑,所以用户才会拒绝去看呢?

精细化是方法论

所以,很简单的一个逻辑就是:

如果我能够知道我的用户care什么,那么我就可以将最适合他的展示给他,以此获得他对我价值的认可。

而如何知道他care什么,就是我们要通过A/B Test获取的东西。这里有一些方法,可是去尝试一下:

  1. 建立假设
  2. 分类设计
  3. 分批推送
  4. 效果回收
  5. 实测验证
  6. 形成结论

这六步就是我接下来要说的方法,下面就一个一个展开:

1、建立假设

首先,对于你的用户要建立假设,这个假设并不是每一个人为什么来你这里买东西,而是,到你这里买东西的用户最care什么。

其中,可以提炼出一些关键词。

这些关键词,需要去匹配一些近义词或结果差不多但表达相反的词汇。

譬如,节省时间-提高效率;省力-代劳;……等等

这一步是为了要有一个大概的认知:我这次的测试主要测试用户对哪些词更敏感,更敏感的词应当切中用户更需要的点,以此来推进设计。

2、分类设计

当你挑选出不同的假设敏感词组之后,一定会形成不同的画像人群,这些画像用户需要围绕敏感词组来对应设计。

譬如我曾经开过玩笑,AirBnb的User Referral文案:

「Give your Friend $15 」 Invite a Friend,Get $15」

这俩文案,放在欧美的测试结果可能是第一种好,但放到亚洲,可能就是第二种好了。

之所以开这个玩笑,是因为在我的假设里,亚洲人或中国人更喜欢强调保障自己的利益,欧美人更喜欢分享自己的利益。

但是这仅仅是开玩笑的假设,事实上并没有任何证明。

聊这个,只是为了强调:人群的差异要体现在文案设计上。

3、分批推送

当你有了画像之后,原则上你就可以筛选出对应的用户,但由于我们要做测试,所以,可能我们只会限定一定比例样本的用户会收到该文案。

这时候,文案的推送一定是分批次进行的,譬如对象用户一共10000个人,我分了两类各5000人,那么先各推1000人试试,看看究竟哪一种文案看起来效果好,然后再根据效果来做后续的推送。

4、效果回收

不论是什么渠道,一定要有能够验证效果的数据,譬如:

链接点击次数、页面到达人数,等等。

所以,文案推送之前,相关的数据埋点就一定要具备,文案推送之后,就要开始关注相关的数据变化情况。以此来区分不同文案之间对用户的差异。

5、实测验证

这里既可以称实测,也可以称为后续。

之前的两组5000人,我们都只推送了1000,那么剩下的4000也一样要推掉,这时候我们就要开始尝试做一件事儿了:

合并文案。

也就是对最后剩下的人,推送同样的的文案。

这时候要考虑的是,剩余的总共8000人,应该分几次去推,每一次推又希望验证什么。

这里的方法就很多了,譬如:

  • 先调换文案,再各推1000人,然后视效果合并;
  • 直接合并,推剩余的8000人;
  • 不合并,各自按照此前的方法推送;

……

6、形成结论

不管你在第五步是否做了文案合并,最终推送完成后你都要形成结论,即,用户更偏爱哪一种或哪一类文案,在同类活动、内容、商品推送时,应该使用哪一类文案。

就这么简单。

#专栏作家#

张亮,微信公众号:zhangleo1983,人人都是产品经理专栏作家。知乎大V,互联网从业者;《从零开始做运营》作者。聊产品聊运营,偶尔深度。分享一切有益有趣的内容。

本文原创发布于人人都是产品经理,未经许可,不得转载。

打赏也是一种认可
2人打赏
评论
有话不说憋着难受!