Jun, 2016

通过贝叶斯分析比较多个分类器的教程：是时候改变了

PDF
TL;DR该研究证明了经典的 “空假设显著性检验” 在机器学习领域的不足，提出应该转向贝叶斯统计的方法来更好地分析机器学习结果。
machine learningnull hypothesis significance testingbayesian paradigmfallaciesalternatives
发现论文，激发创造
  • 贝叶斯分层建模统计比较分类器

    本研究提出了一种贝叶斯分层模型，通过对多个数据集上两个分类器的交叉验证结果进行联合分析，从而返回两个分类器准确度在实际上是否等价或显著不同的后验概率，并减少了估计误差。

    Sep, 2016

  • 弃用统计显著性

    建议弃用 NHST 范式和 p-value 替代其地位，作为一种证据，应该与其它因素一起考虑，包括先验证据、机制合理性、研究设计和数据质量、真实世界的成本和收益、发现的新颖性等。同时不应以统计显著性作为基本标准进行强行验证和报告。

    Sep, 2017

  • 贝叶斯测试中的可选停止：无痛 A/B 测试的连续监测

    本文证明了在使用适当停止规则的情况下，贝叶斯检验与连续监控的有效性，并通过具体模拟实例说明了理论结果。文章指出了常见的不良实践，比较了该方法与 NHST 校正，并提供了研究人员和实践者的一般指导方针。

    Feb, 2016

  • 并非所有断言都是平等的：选择正确的统计方法评估假设

    该论文探讨了自然语言处理中假设评估的问题，提出使用贝叶斯方法评估假设，并提供了针对该领域的最佳实践和指南。

    Nov, 2019

  • 深度实时假设测试

    我们提出了一个通用的框架，用于构建针对大类非参数测试问题的强大的连续假设检验。该框架可以统一处理多个经典任务，如双样本测试、独立性测试和条件独立性测试，以及现代问题，如对机器学习模型的对抗鲁棒性测试。我们的方法对传统批量测试具有以下优势：1) 它持续监控在线数据流并有效地聚合针对零假设的证据，2) 它在不需要多重测试校正的情况下对类型 I 错误进行严格控制，3) 它根据问题的未知难度调整样本大小要求。我们在测试通过投票框架（testing-by-betting framework）中利用机器学习模型的表示能力方面开发了一种基于原则的方法，这是一种用于设计连续测试的博弈论方法。在合成和真实数据集上的实证结果表明，使用我们的通用框架实例化的测试在多个任务上与专门的基准测试相竞争。

    Oct, 2023

  • 我们真的应该使用基于平均等级的事后检验吗？

    本文研究了机器学习领域中的算法比较方法，说明了 mean-ranks 后继检验存在的不一致性以及可能导致的悖论情况，并建议采用 sign-test 或 Wilcoxon signed-rank test 等检验方法来避免相关问题。

    May, 2015

  • 异常检测的零假设检验

    本文研究使用不存在标签分类来进行异常检测，并设计了一种假设检验方法来排除仅有背景假设。通过测试两个数据集区域的统计独立性，我们能在不依赖定量异常得分或区域间背景估计外推的情况下排除仅有背景假设。我们的方法依赖于异常得分特征和数据集区域的条件独立性假设，这可以通过使用现有的去相关技术来保证。我们以 LHC Olympics 数据集为基准示例，证明互信息是测试统计独立性的合适方法，并且我们的方法即使在实际特征相关性存在的情况下，在不同信号分数下也表现出良好且稳健的性能。

    Oct, 2022

  • 快速可扩展的贝叶斯 AB 测试

    通过使用分层贝叶斯估计方法，我们提出一种解决 AB 测试分析中常见限制的解决方案，包括多因素和因素之间的相关性、早期停止的顺序测试和从过去测试中提取综合全球学习的能力。通过数值模拟和大量实际 AB 测试，我们证明了这种方法的实际价值。

    Jul, 2023

  • 神经网络的全贝叶斯显著性检验

    提出了一种全贝叶斯显著性测试方法（nFBST），采用贝叶斯神经网络来拟合非线性和多维关系，并通过计算证据值避免了传统方法中的理论派生难题，可以测试全局、局部和实例显著性，并且是一个可根据所选择的度量进行扩展的通用框架。

    Jan, 2024

  • 自然语言处理任务推荐的统计显著性检验

    该研究论文讨论了如何通过有效的统计显著性测试来证明自然语言处理 (NLP) 算法的优越性，并提出了针对该领域常见任务和评估指标的统计测试方法。

    Sep, 2018