在线 FDR 控制下 Multi-A/B 测试框架
这篇论文研究了在线控制 FDR 的问题,提出了一种广义的 Alpha-investing 过程,并证明了在规定条件下其能控制 FDR 同时也能控制假阳性探查率,并进一步开发了一组修改版的程序,以控制异常假发现的问题。
Mar, 2016
本文提出了两种在线控制多重假设检验中虚阳性比例期望和虚假发现数期望比例以及解决相关关联问题的方法 LOND 和 LORD, 并通过混合模型的下限对总发现率进行了比较,在合成数据和现实数据中表现良好,仅控制 mFDR 的 alpha-investing 规则、Benjamin-Hochberg 方法和 Bonferroni 程序与 LOND 和 LORD 相比。
Feb, 2015
对广义 α 投资算法(GAI)算法类进行了四个方面的改进:(a)通过为每个拒绝授予更多的 α 财富,统一提高整个单调 GAI 程序的功率;(b)演示如何将先前的权重纳入考虑;(c)允许为错误发现指定不同的处罚;(d)定义了一种称为 mem-FDR 的新数量,它可以在真正的时间应用中更有意义,并减轻我们描述并称之为 “piggybacking” 和 “alpha-death” 的问题。 最后,我们还描述了一种基于估计的假阳性发现比例推导新的在线 FDR 规则的简单方法。
Oct, 2017
本篇论文介绍了一种新的自适应多重检验方法,它依靠真空假设数量的估计,并控制有限样本大小下的误差发现率,其中采用了广义 Storey 估计和加权版本,结果发现相应的自适应上升和下降测试控制了 FDR,该结果还包括使用新的广义 Storey 估计器的数据相关加权的特定动态自适应阶梯测试。同时,本文也阐述了 Benjamini Hochberg(1995)定理的反转。
Oct, 2014
开发了一个决策理论框架,通过实验性贝叶斯解决方法,使用贪婪背包算法构建了一个基于贝叶斯规则的正当决策方法,以控制虚警率,具有大规模测试的有效性和优越性。应用实验确认了该方法的有限样本有效性,并讨论了在实际优化实验中的应用。
Jul, 2024
在这篇论文中,我们提出了一种新的同时 FDP(假发现比例)边界类,该类针对嵌套拒绝集序列进行了量身定制。我们的有限样本、闭合形式边界是基于改变每个以上环节的假阳性发现率(FDR)控制程序中的 FDP 估计的。
Mar, 2018
本文研究了在现代科学应用中出现的多重检验问题,其中可以利用先前的信息来对假设进行排名,以增加发现的数量并控制错误发现率,提出了一种基于累积检验的新方法,HingeExp 方法,相比现有技术具有更高的真实信号检测能力。
May, 2015
在多重检验问题中,通过引入结构适应的 Benjamini-Hochberg 算法,利用数据自适应权重重塑 P 值,可以更精确地控制错误发现率。
Jun, 2016
本文提出了对于控制多重假设检验中假阳性发现率的差分隐私算法,并且在某些条件下基本没有损失。方法是通过对一种众所周知的 Benjamini-Hochberg 过程进行改进,使其每一步都是差分隐私的。同时,还开发了一种新的算法,称为 “top-k”,用于解决在隐私保护中的 “最受欢迎的 k 个爱好” 问题,并在不损失准确性的情况下提高算法速度。
Nov, 2015
我们提出了一个通用的框架,用于构建针对大类非参数测试问题的强大的连续假设检验。该框架可以统一处理多个经典任务,如双样本测试、独立性测试和条件独立性测试,以及现代问题,如对机器学习模型的对抗鲁棒性测试。我们的方法对传统批量测试具有以下优势:1) 它持续监控在线数据流并有效地聚合针对零假设的证据,2) 它在不需要多重测试校正的情况下对类型 I 错误进行严格控制,3) 它根据问题的未知难度调整样本大小要求。我们在测试通过投票框架(testing-by-betting framework)中利用机器学习模型的表示能力方面开发了一种基于原则的方法,这是一种用于设计连续测试的博弈论方法。在合成和真实数据集上的实证结果表明,使用我们的通用框架实例化的测试在多个任务上与专门的基准测试相竞争。
Oct, 2023