冠军挑战者?AB Test如何应用于风控场景?

0 评论 3539 浏览 9 收藏 10 分钟

编辑导语:AB Test是一个很好的导航系统和说理工具,策略分析师在各个场景使用这种分析方法,可以形成一个完整的闭环;本文作者分享了关于AB Test如何应用于风控场景,我们一起来看一下。

下图为策略分析师工作流程的自检清单,相信很多人都看过了,本篇文章针对其中的AB test 环节详细阐述。

一、A/B Test 概念

什么是AB Test?

1)我们先通过一张图来了解系统的概念,做一做铺垫:

如上图,系统,就是将多个输入转化成输出的中间过程(图中的输入,也称为变量)。ps:有数学背景的同学,可以把系统理解成一个多元函数y=f(x1,x2,x3)。

2)然后基于系统图导出控制变量法

如上图所示,由于影响系统输出的输入变量有多个,如果我们需要考察其中某一个输入变量(比如输入1)对系统输出的影响时;我们需要在保持输入2和输入3不变的前提下,改变输入1,然后观察输出的变化,从而确定输入1对输出的影响;这就是控制变量法,核心是控制其他变量不变,排除其交叉影响,单独观察某一个变量对结果的影响。

3)再基于控制变量法引出对照组的概念

当我们保持输入2和输入3不变,单独改变输入1时,我们需要在样本中确定有多大比例的样本(不)需要改变输入1,由此按比例随机抽样、从而形成两个相互对比的样本(改变输入1的一般称为实验组,不改变输入1的称为对照组)。

如果我们设定,对照组和实验组各占50%,则形成如下的两组样本:

从上表的例子我们可以看到,变量1增长50%时,输出变量增长60%,因为这是排除了变量2和变量3的影响之后的数据,可以无可辩驳地说明变量1对输出变量的影响(方向及强度)。

4)最后回到我们的核心概念AB Test

AB test就是通过随机抽样设置对照组和实验组,A是对照组,B是实验组,AB两组占比由实际场景决定(任意一组的占比一般不能太低,要满足统计学意义),加起来是100%。

由于是随机抽样,AB两组一开始是完全相同的样本;然后,改变一个变量,使得B相对A来说只有一个变量不同,从而可以将该变量单独拎出来、观察它对输出结果的影响:

具体到业务场景中,A和B又分别指什么呢?举个例子:

AB可以是不同的风险策略(比如策略A是多头>5,策略B是多头>7),可以是不同的产品版本(如产品A需要输入验证码,产品B不需要输出验证码)……等等,一切你需要做对比、然后做出选择的两个方案。

PS:

  • 对照组方法,是科学研究中用途极广的方法,有着坚实的统计学理论支撑;
  • 产品部门经常用到对照组方法,产品部一般称为AB Test,这种叫法比较通用,为方便交流,本文采用此种叫法;
  • 风控部门也经常用到对照组方法,一般称为“冠军挑战者”。

二、A/B Test 适用场景

以下我们针对常用的几个场景,给出基于AB test的解决方案,给大家展示AB test在风控中的典型应用场景、应用方式及其效果,希望大家能够举一反三,在自己的工作中能用上。

AB test方法应用灵活、基于实际场景千变万化,也有一些需要避免的问题,整个AB test机制包括需求分析、机制设计、数据分析、策略调整等,是一个完整的闭环。

场景一:无法确定策略调整的效果,找不到策略调整的方向

问题剖析:评估策略效果的指标大家都很明确,而无法明确效果,究其原因,是因为影响风控指标的输入变量有多个,包括客群质量、时间、风险策略等;而策略只是其中的一个变量,调整策略变量的同时,其他变量可能同时发生改变,因此无法确切评估策略的调整对风控指标的影响。

解决方案:假定我现在的策略是A,我想调整策略,没有AB test可能直接改了,引入AB测试之后,我设定A组比例为70%,B组比例为30%,随机70%的客户走原来的A策略,随机30%的客户走新策略(假设叫B策略),测试周期为两周(核心是要达到观测样本量):

Ps:测试完毕之后可以停止测试,全部客户都切回A策略或切到下一个B策略(视情况而定)。

到表现期出来之后,经过数据分析:

结果若如图1,整体逾期率均呈上升趋势,说明客群变差;但B策略在客群变差的环境下其同期逾期率增长低于A策略,说明B线策略较A策略好,调整有效,可以考虑将B策略转正,作为新的冠军策略;

结果若如图2,整体逾期率均呈下降趋势,说明客群变好;B策略在客群变好的环境下其同期逾期率下降低于A策略,说明B策略较A策略要差,调整失败。

(以上两个例子证明,要明确整体的变化方向,才能确定策略调整的效果。)

至于策略的调整方向,AB两套策略的差异点你是完全知道的,这个差异是造成最终逾期率不同的唯一原因,找到其中大头的差异点,就是本次调整的方向。

比如,假设在图2的场景下,发现A策略是多头>5拒绝,B策略是多头>8拒绝,这是两套策略的差异点,这个差异点造成了逾期率的不同,于是可以收紧B策略的多头规则阈值。

场景二:已经明确要调整的具体规则,目前有多个方案,无法确认哪个方案最优

问题剖析:已经知道要收紧的具体的规则了,但是有多种收紧方案,在策略流程上,是前紧,还是前松后紧,着实让人无法抉择;因为在风险策略人员的视野里,不仅仅只有通过率、逾期指标;还有征信成本、数据信息量等其它纬度的考量因素。

解决方案:直接对确定调整的规则进行A/B Test 即可。

总结一下,策略的AB test机制,是一个很好的导航系统和说理工具,作为导航系统,它让策略人员在调整策略的时候,知道自己的方向,因此明明白白;作为说理工具,它让策略人员在展示自身工作对全局影响的时候,听众心服口服。

 

本文由 @FAL金科应用研院 原创发布于人人都是产品经理,未经许可,禁止转载。

题图来自 unsplash,基于 CC0 协议

给作者打赏,鼓励TA抓紧创作!
更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 目前还没评论,等你发挥!