BAT都在用的方法，详解A/B测试的那些坑！

“如何把AB实验文化根植到公司的基因中去？”，时代正在向所有的互联网公司发出提问。

If you are not running experiments，you are probably not growing！

——by Sean Ellis

Sean Ellis 是增长黑客模型（AARRR）之父，增长黑客模型中提到的一个重要思想就是“AB实验”。

从某种意义上讲，自然界早就给了我们足够多的启示。为了适应多变的环境，生物群体每天都在发生基因的变异，最终物竞天择，适者生存，留下了最好的基因。这个精巧绝伦的生物算法恐怕是造物者布置的最成功的AB实验吧。

将目光转到互联网世界，AB实验的受重视程度正在空前提高。

01 我们来看两个著名案例

案例1：奥巴马宣传团队用AB实验帮其获得更高的支持率

2008年，奥巴马在竞选中胜出，出任美国第44任总统，这离不开其个人人格魅力，但他的竞选宣传团队的作用也是不可忽略的，在总统竞选页面上，他的团队就用AB实验在16种方案中找到了最佳方案，将竞选页面"change"的转化率提升40.6%。

（图1）

（图2）

实验这样设计的：图一中的图片或视频与图二中的不同文案按钮任意组合，形成4*4共16种不同方案组合，每个方案都获得一定比例的流量，观察一段时间后，从中选择转化率最高的方案，推广到全部用户。

最终如下方案胜出：

其团队事后给出的解释是：视频播放给用户很大压力，且当时的网络环境不能保证播放效果，故视频不如图片，且美国人崇尚家庭文化，一副温馨的全家福图片能拉近与选民的距离。至于按钮文案，则是因为美国选民的独立思考意识高，“join us”、“sign up”等文案让人感觉非常简单粗暴，有煽动的嫌疑，所以大家更接受平和一点的“learn more”。

案例2 ：Facebook用AB实验挽救了20%的亏损

2012年，Facebook的产品vp Sam Lessin在扎克伯克的大力支持下，亲率30人团队花费大半年时间开发了一款新的版本。在上线前邀请的一些外部用户与内部员工的评价中，新版本酷炫时尚，比老版本好看的多。如图：

（上图为老版）

（上图为新版）

Facebook不愧是一家世界一流的互联网公司，重大的迭代一定会进行AB实验。他们先分配1%的流量给新版本，然后逐渐增多到2%，5%......实验的结果出乎大家意料，新版本在用户参与度、在线时长、广告展示数、营收等四个核心指标的表现上严重落后老版本，刚开始大家觉得可能是用户不习惯，但随着新版本流量放大到12%，观察的时间也拉长到3个月，但情况同样很糟，新版本直接导致了20%的营收下降。最终Facebook壮士断腕，让所有用户回滚到老版本，这才恢复了之前的数据。

而在国内，一家知名的大学生社交网站因为看到了正在进行小流量实验的B方案，就直接copy并快速全流量上线，结果你们都知道的。到现在，这家网站已经彻底沦为了三流互联网产品。

由此可见失败的产品方案不可怕，可怕的是没有经过AB实验就直接上线的公司制度和文化。

我们再来看国内一线公司内的一个AB实验case吧！

如上是不同的引导卡片样式的AB实验，最终结果样式2比样式1的CTR提升24.8%。

02 你的团队是否有这样的问题？

1、不经过AB实验就直接全流量上线，成员在上线后拼命找数据证明自己正确，即便证据牵强，只要向外发布声明都千篇一律##指标又提升了##，众人纷纷点赞。要知道Google、Facebook、Microsoft做AB实验的经验是——90%的新设计都不如线上版本。及时你的团队也很牛，但也不至于把谷哥、face哥、微软哥吊打吧？

2、你的团队非常有想法，但大家各执己见，谁也不能说服谁，导致团队决策变得很困难。