“如今，A/B 测试正在蓬勃发展——与非 A/B 测试相比，这是一个巨大的进步，”人工智能公司 OfferFit 的首席执行官 George Khachatryan 在最近的一次网络研讨会上说道。 “与此同时，每天进行这些测试的人们认识到这比看起来要困难得多。” 设计 A/B 测试、确定样本大小并部署它们需要大量时间和资源，并且分析结果需要高精度。总而言之，A/B 测试所需的手动任务会给营销人员带来沉重的负担。 “当你运行一个完整的实验程序时，运行一次 A/B 测试是远远不够的，”Khachatryan 说。 “当你运行一个时，你会获得宝贵的见解，并且不可避免地想要获得更多。所以你最终会跑得更多。” 他补充道，“那些亲身实践的人意识到，他们所需的测试数量会迅速激增——在这条指数曲线上，它很早就变得不可行。


显示 A/B 测试如何无法扩展的图表 资料来源：乔治·哈恰 特殊数据 图良 营销人员需要一种解决方案，使他们能够测试越来越多的营销活动变量，同时给他们足够的时间来分析数据。幸运的是，A/B 测试正在不断发展。 扩展 A/B 测试的威力 在网络研讨会中，Khachatryan 强调了影响现代 A/B 测试的“多臂老虎机问题”。在这种情况的传统版本中，赌场的人必须确定哪些老虎机（偷你钱的“独臂强盗”）将获得最佳支出，然后找出最佳顺序。通过 A/B 测试，变量是多臂强盗，营销人员必须发现哪些最有效，以便他们可以将更多资源分配到表现良好的领域。 “你可以将[多臂老虎机]想象成智能 A/B 测试，”他说。 “它将在探索与利用之间进行权衡——它将开始随机拉动这十个句柄，但随着它的进行，它将动态地重新分配资源，这样，如果事情看起来很糟糕，它就会停止拉动。



测试中的多武装强盗与上下文强盗 资料来源：乔治·哈恰图良 他补充道，“这些多臂老虎机旨在进行适量的实验，这样你就可以在学习的同时利用你已经学到的东西。” 虽然这些多臂模型（A/B）多年来一直为营销人员提供了良好的服务，但该框架的新迭代更加准确和有效。根据哈恰图良的说法，这些都是“背景强盗”。 “它的作用与多臂强盗的作用相同，但它考虑到了不同的环境，”他说。 “所以，如果你有两个不同的客户，具有不同的特征，它就会知道拉动不同的杠杆。” 上下文强盗框架本质上是大规模的自动化实验和个性化。这是一个可以完全自动化流程的模型，也是每个营销人员为大规模提高营销活动有效性而应该努力的方向。