SIGIRMay, 2019

信息检索中的统计显著性检验：对 I 型、II 型和 III 型误差的实证分析

PDF
TL;DR通过模拟 TREC 数据集，对不同的测试、系统、主题集大小和效益测量进行了分析，并评估了统计显着性测试在信息检索数据中的行为，为从业者提供了建议。五种测试涉及统计显着性测试、T - 检验、Bootstrap 检验、排列检验和 Wilcoxon 检验。
statistical significance testingt-testbootstrap testpermutation testwilcoxon test
发现论文，激发创造
  • 利用分数分布比较信息检索评估的统计显著性检验

    本文针对信息检索领域中使用的统计方法进行了探讨，并提出了一种新的方法 —— 基于得分分布模拟进行搜索结果的统计显著性测试来比较多个搜索系统的性能，发现在具备理论真值的条件下，符号检验和 Wilcoxon 符号检验比排列检验和 t 检验具有更高的检验效力。启发式方法的检验误差较低，但效力不如其他方法。

    Jan, 2019

  • 更准确的结果差异统计学显著性检验

    该研究探讨了在自然语言处理实证研究中，常用统计方法在独立性假设违反情况下，低估了统计差异的问题，并提出了一些不需要独立性假设的有效测试方法。

    Aug, 2000

  • 多重检验程序对依赖性的稳健性

    本文主要介绍如何在多重假设检验中通过对空假设的控制以及对数据是否独立等因素的考虑，来有效地控制显著水平，同时探讨在不同的分布下，统计假设结果的线性相关性会带来的影响并提出解决方案。

    Mar, 2009

  • 自然语言处理任务推荐的统计显著性检验

    该研究论文讨论了如何通过有效的统计显著性测试来证明自然语言处理 (NLP) 算法的优越性，并提出了针对该领域常见任务和评估指标的统计测试方法。

    Sep, 2018

  • NLPStatTest：比较 NLP 系统性能的工具包

    本文提出了一种基于效应大小估计的三阶段比较 NLP 系统性能的方法，并提供了一个工具包 NLPStatTest，该工具包可以自动化处理上传的 NLP 系统评估分数，进行合适的显著性检验和效应大小估计，并进行功效分析来估计 II 型错误。这个工具包提供了一个便捷和系统的方法来比较 NLP 系统性能，超越了统计显著性检验。

    Nov, 2020

  • 估计非零假设数目和效应大小

    本文研究了估计多重检验背景下的效应大小分布的问题。我们提出了一种简单、高效的估计器，可使用廉价的试验数据，在比识别发现类试验所需采样数量显著少的情况下，估计该分布。该估计器可用于保证未来试验中给定实验设计中将被发现的发现数量，并展示了在 Drosophila 上进行的流感抑制基因敲除试验数据的有效性。

    Feb, 2020

  • 模型基准度量方法的忠实模型评估

    统计学意义检验用于自然语言处理（NLP）中，用于确定研究或实验的结果是否可能是由于偶然性还是反映了真实关系。我们在模型基于度量的统计显著性测试中，考虑模型误差对样本方差的影响，并通过公共基准数据集和生产系统的实验，展示了在某些实验中，考虑模型误差计算样本方差对模型基于度量的结果产生了改变。

    Dec, 2023

  • 序列预测双样本和独立性检验

    本研究探讨了顺序非参数两样本和独立性检验的问题，提出了一种基于预测的赌博策略，用于解决高维结构化数据上核函数的选择问题。我们在实验中证明了这种方法优于基于核的方法，即使在数据分布随时间漂移的情况下，也仍然有效强大。

    Apr, 2023

  • TriSig：三元组聚类的统计显著性评估

    提出一种统计框架来评估张量数据中的模式偏离零期望的概率，以减轻假阳性 / 虚假发现，并进一步修剪搜索空间，降低计算复杂度。结果表明，这种评估可以纳入现有的三元聚类算法中，并揭示了一些三元聚类算法的弱点。

    Jun, 2023

  • Null/No Information Rate（NIR）: 一种用于评估分类准确性是否在给定问题中显著的统计检验方法

    本文介绍了一种在分类系统准确性评估中使用的统计检验方法（NIR），可以在生物医学领域等研究环境下使用。

    Jun, 2023