Jul, 2023

快速可扩展的贝叶斯 AB 测试

PDF
TL;DR通过使用分层贝叶斯估计方法，我们提出一种解决 AB 测试分析中常见限制的解决方案，包括多因素和因素之间的相关性、早期停止的顺序测试和从过去测试中提取综合全球学习的能力。通过数值模拟和大量实际 AB 测试，我们证明了这种方法的实际价值。
ab testinghierarchical bayesian estimationmultivariate designssequential testingstatistical inference
发现论文，激发创造
  • 贝叶斯测试中的可选停止：无痛 A/B 测试的连续监测

    本文证明了在使用适当停止规则的情况下，贝叶斯检验与连续监控的有效性，并通过具体模拟实例说明了理论结果。文章指出了常见的不良实践，比较了该方法与 NHST 校正，并提供了研究人员和实践者的一般指导方针。

    Feb, 2016

  • 在线 A/B 测试中未来用户活动的改进预测

    在线随机实验和 A/B 测试中，参与者包含率的准确预测是至关重要的，本文提出了一种新颖、直接且可扩展的贝叶斯非参数方法，用于预测在线 A/B 测试中个体接受干预的比率，并展示了其在实验和模拟数据上相对于现有方法的卓越性能。

    Feb, 2024

  • 深度实时假设测试

    我们提出了一个通用的框架，用于构建针对大类非参数测试问题的强大的连续假设检验。该框架可以统一处理多个经典任务，如双样本测试、独立性测试和条件独立性测试，以及现代问题，如对机器学习模型的对抗鲁棒性测试。我们的方法对传统批量测试具有以下优势：1) 它持续监控在线数据流并有效地聚合针对零假设的证据，2) 它在不需要多重测试校正的情况下对类型 I 错误进行严格控制，3) 它根据问题的未知难度调整样本大小要求。我们在测试通过投票框架（testing-by-betting framework）中利用机器学习模型的表示能力方面开发了一种基于原则的方法，这是一种用于设计连续测试的博弈论方法。在合成和真实数据集上的实证结果表明，使用我们的通用框架实例化的测试在多个任务上与专门的基准测试相竞争。

    Oct, 2023

  • 基于提升度的排名：大规模 A/B 测试的成本效益方法

    开发了一个决策理论框架，通过实验性贝叶斯解决方法，使用贪婪背包算法构建了一个基于贝叶斯规则的正当决策方法，以控制虚警率，具有大规模测试的有效性和优越性。应用实验确认了该方法的有限样本有效性，并讨论了在实际优化实验中的应用。

    Jul, 2024

  • 贝叶斯分层建模统计比较分类器

    本研究提出了一种贝叶斯分层模型，通过对多个数据集上两个分类器的交叉验证结果进行联合分析，从而返回两个分类器准确度在实际上是否等价或显著不同的后验概率，并减少了估计误差。

    Sep, 2016

  • 基于动态控制匹配的大规模自适应测试验证

    本文提出了一种在动态同时运行多个测试并持续适应的条件下，使用匹配的合成控制组来分离各种测试因果效应的方法，以应对现代企业对 A/B 测试的需要。

    May, 2023

  • A/B 测试的复杂性

    该研究提供了一种改进的 A/B 测试性能的分布依赖性下限方法，特别是在高斯分布和伯努利分布下，为固定置信度和固定预算的情况下提供了复杂性的证明和比较，同时还提供了停止规则。

    May, 2014

  • 实验平台遇上强化学习：用贝叶斯序贯决策方法进行连续监控

    本文介绍了亚马逊公司开发的基于贝叶斯最优连续监控框架，通过强化学习算法发展一种统一的效用函数来控制企业机会成本的最优策略，并使用大规模的元分析验证与已有方法相比的有效性。

    Apr, 2023

  • 始终有效推论：将序列分析引入 A/B 测试

    本研究提出一种始终有效的 p-value 和置信区间定义方法，以允许用户在进行 A/B 测试时不断地监控样本大小并快速利用已有数据时提供有效的统计推断。同时，该模型还允许实现基于用户定制的修改测试，适当地权衡了样本大小和功率之间的关系，提供了多重假设检验控制。

    Dec, 2015

  • 在线 FDR 控制下 Multi-A/B 测试框架

    提出了一种用最佳臂多臂老虎机 (MAB) 的连续监控替代 A/B 测试的新框架，利用在线虚警率控制算法和顺序 p 值，同时实现了样本优化、强大的能力和低虚假发现率 (FDR)。

    Jun, 2017