基于提升度的排名:大规模A/B测试的成本效益方法
该研究提供了一种改进的A/B测试性能的分布依赖性下限方法,特别是在高斯分布和伯努利分布下,为固定置信度和固定预算的情况下提供了复杂性的证明和比较,同时还提供了停止规则。
May, 2014
这篇论文研究了在线控制FDR的问题,提出了一种广义的Alpha-investing过程,并证明了在规定条件下其能控制FDR同时也能控制假阳性探查率,并进一步开发了一组修改版的程序,以控制异常假发现的问题。
Mar, 2016
提出了一种用最佳臂多臂老虎机(MAB)的连续监控替代A/B测试的新框架,利用在线虚警率控制算法和顺序p值,同时实现了样本优化、强大的能力和低虚假发现率(FDR)。
Jun, 2017
对广义α投资算法(GAI)算法类进行了四个方面的改进:(a)通过为每个拒绝授予更多的α财富,统一提高整个单调GAI程序的功率;(b)演示如何将先前的权重纳入考虑;(c)允许为错误发现指定不同的处罚;(d)定义了一种称为mem-FDR的新数量,它可以在真正的时间应用中更有意义,并减轻我们描述并称之为“piggybacking”和“alpha-death”的问题。 最后,我们还描述了一种基于估计的假阳性发现比例推导新的在线FDR规则的简单方法。
Oct, 2017
本文提出了一种称为SAFFRON的在线FDR控制的有效新框架,它可以基于新颖的估计方法对真空假设进行分配,并被证明比其非自适应方法更强大。
Feb, 2018
通过使用分层贝叶斯估计方法,我们提出一种解决AB测试分析中常见限制的解决方案,包括多因素和因素之间的相关性、早期停止的顺序测试和从过去测试中提取综合全球学习的能力。通过数值模拟和大量实际AB测试,我们证明了这种方法的实际价值。
Jul, 2023
现代平台利用随机实验从给定的项目集(“处理”)中进行明智决策。本研究探讨了一种贝叶斯多次播放自助游问题,涵盖了具有高容量短寿命项目的多元测试(或“多个A/B测试”)问题的关键特点。通过大规模领域实验证明,我们的策略比平台当前的推荐系统在总持续时间上提升了4.32%,点击次数上提升了7.48%。
Dec, 2023
在线本地错误发现率控制的问题被归纳为具有随机预算补充不确定性的在线资源分配问题,通过引入预算缓冲区的新策略,成功将遗憾从Ω(√T)甚至Ω(T)降低到O(ln^2 T),并验证了理论发现的准确性。
Feb, 2024
本文针对传统的排序与选择方法的不足,提出了一种解决大规模最优子集选择问题的新方法。通过设计一种基于启发式的贪婪选择机制,研究证明了该方法在样本选择上的最优性和一致性,能有效地支持决策者作出更明智的选择,并在不增加额外成本的情况下提供无差异排序的功能。
Aug, 2024