Feb, 2024

在线 A/B 测试中未来用户活动的改进预测

PDF
TL;DR在线随机实验和 A/B 测试中，参与者包含率的准确预测是至关重要的，本文提出了一种新颖、直接且可扩展的贝叶斯非参数方法，用于预测在线 A/B 测试中个体接受干预的比率，并展示了其在实验和模拟数据上相对于现有方法的卓越性能。
online randomized experimentsa/b testsparticipant inclusion ratesbayesian nonparametric approachpredictive modeling
发现论文，激发创造
  • 一种非参数贝叶斯方法用于在线活动预测

    通过贝叶斯非参数方法预测用户活跃数量及所需的时间轨迹，以实现实验规划和干预效果的准确预测。

    Jan, 2024

  • 快速可扩展的贝叶斯 AB 测试

    通过使用分层贝叶斯估计方法，我们提出一种解决 AB 测试分析中常见限制的解决方案，包括多因素和因素之间的相关性、早期停止的顺序测试和从过去测试中提取综合全球学习的能力。通过数值模拟和大量实际 AB 测试，我们证明了这种方法的实际价值。

    Jul, 2023

  • 推荐系统的离线 A/B 测试

    本文介绍了基于历史数据的线下评估方法，计算新推荐系统版本可能带来的收益提升，提供对实际环境下偏差建模的反事实估计量的变量，通过在线广告个性化产品推荐引起商业指标相关性的商业实验来检验这些估计值。

    Jan, 2018

  • 在线机器学习实验中的常见误解

    本文讨论了机器学习模型在线实验所面临的问题，指出常用的 A/B-tests 并不能保证无偏估计。因此，文章提出了对从事此领域的从业人员和研究人员的影响及解决方案。

    Apr, 2023

  • A/B 测试的复杂性

    该研究提供了一种改进的 A/B 测试性能的分布依赖性下限方法，特别是在高斯分布和伯努利分布下，为固定置信度和固定预算的情况下提供了复杂性的证明和比较，同时还提供了停止规则。

    May, 2014

  • 实验平台遇上强化学习：用贝叶斯序贯决策方法进行连续监控

    本文介绍了亚马逊公司开发的基于贝叶斯最优连续监控框架，通过强化学习算法发展一种统一的效用函数来控制企业机会成本的最优策略，并使用大规模的元分析验证与已有方法相比的有效性。

    Apr, 2023

  • 短时、高容量的多臂 / 波段测试

    现代平台利用随机实验从给定的项目集（“处理”）中进行明智决策。本研究探讨了一种贝叶斯多次播放自助游问题，涵盖了具有高容量短寿命项目的多元测试（或 “多个 A/B 测试”）问题的关键特点。通过大规模领域实验证明，我们的策略比平台当前的推荐系统在总持续时间上提升了 4.32％，点击次数上提升了 7.48％。

    Dec, 2023

  • 贝叶斯测试中的可选停止：无痛 A/B 测试的连续监测

    本文证明了在使用适当停止规则的情况下，贝叶斯检验与连续监控的有效性，并通过具体模拟实例说明了理论结果。文章指出了常见的不良实践，比较了该方法与 NHST 校正，并提供了研究人员和实践者的一般指导方针。

    Feb, 2016

  • 在线 FDR 控制下 Multi-A/B 测试框架

    提出了一种用最佳臂多臂老虎机 (MAB) 的连续监控替代 A/B 测试的新框架，利用在线虚警率控制算法和顺序 p 值，同时实现了样本优化、强大的能力和低虚假发现率 (FDR)。

    Jun, 2017

  • 通过贝叶斯赌博算法在线评估定向广告受众

    该论文介绍了一种在分割目标受众群体并在线实验中解决数字广告匹配问题的上下文强化学习算法，并在中国电商平台 JD.com 上实现

    Jul, 2019