假设检验与机器学习：使用 Cohen 的 f2 解释深度人工神经网络中的变量效应

Feb, 2023

假设检验与机器学习：使用 Cohen 的 f2 解释深度人工神经网络中的变量效应

Hypothesis Testing and Machine Learning: Interpreting Variable Effects in Deep Artificial Neural Networks using Cohen's f2

PDF

Wolfgang Messner

TL;DR本文提出了一种基于现有的可解释人工智能（XAI）方法的、适用于机器学习的无模型假设检验框架，其中利用 Fisher 的变量置换算法计算等效于 OLS 回归模型的 Cohen's f2 的效应量度量，并将 Mann-Kendall 检验和 Theil-Sen 估计器应用于 Apley 的累积局部效应图，以指定变量的影响方向和统计显著性。该方法在人工数据集和社会调查中得以证明其有效性。

Abstract

Deep artificial neural networks show high predictive performance in many fields, but they do not afford statistical inferences and their black-box operations are too complicated for humans to comprehend. Because positing that a relationship exists is often more important than prediction in scientific experiments and research models, →

machine learning xai hypothesis testing ols regression statistical significance

发现论文，激发创造

训练神经网络中的变异性鲁棒非参数假设检验

基于网络输出的一个稳健假设检验框架，我们提出了一种新的分类模型之间的相似性度量方法，该方法可以适应经过训练模型的其他衍生量。

Oct, 2023

模型基准度量方法的忠实模型评估

统计学意义检验用于自然语言处理（NLP）中，用于确定研究或实验的结果是否可能是由于偶然性还是反映了真实关系。我们在模型基于度量的统计显著性测试中，考虑模型误差对样本方差的影响，并通过公共基准数据集和生产系统的实验，展示了在某些实验中，考虑模型误差计算样本方差对模型基于度量的结果产生了改变。

Dec, 2023

更准确的结果差异统计学显著性检验

该研究探讨了在自然语言处理实证研究中，常用统计方法在独立性假设违反情况下，低估了统计差异的问题，并提出了一些不需要独立性假设的有效测试方法。

Aug, 2000

机器学习研究的推断可再现性

本研究探讨了机器学习模型评估的可靠性，提出了使用线性混合效应模型的方法，以分析性能评估分数，并使用广义似然比检验进行统计推断。同时，本文还探讨了数据属性与算法噪声因素之间的相互作用，以及噪声源对整体方差的贡献和可靠性系数的计算方法。

Feb, 2023

改进差分隐私方差分析

本文基于差分隐私的限制，提出了一个新的测试统计量 $F_1$，并展示了如何严格计算 $F_1$ 的参考分布，同时给出了一个计算准确 $p$- 值的算法。与先前的工作进行比较，在相同的效应大小下，新提出的测试仅需要 7% 的数据即可获得数量级的改进。

Mar, 2019

使用工具进行异质性处理效果的机器学习估计

本研究使用有效的工具变量来考虑具有任意机器学习方法的异质性处理效应估计，并减少了问题到最小化一个适当的损失函数（依赖于一组辅助模型，每个模型对应一个独立的预测任务）的规模。

May, 2019

深度实时假设测试

我们提出了一个通用的框架，用于构建针对大类非参数测试问题的强大的连续假设检验。该框架可以统一处理多个经典任务，如双样本测试、独立性测试和条件独立性测试，以及现代问题，如对机器学习模型的对抗鲁棒性测试。我们的方法对传统批量测试具有以下优势：1) 它持续监控在线数据流并有效地聚合针对零假设的证据，2) 它在不需要多重测试校正的情况下对类型 I 错误进行严格控制，3) 它根据问题的未知难度调整样本大小要求。我们在测试通过投票框架（testing-by-betting framework）中利用机器学习模型的表示能力方面开发了一种基于原则的方法，这是一种用于设计连续测试的博弈论方法。在合成和真实数据集上的实证结果表明，使用我们的通用框架实例化的测试在多个任务上与专门的基准测试相竞争。

Oct, 2023

基于累积局部效应的机器学习和经典技术的统计推断

通过引入创新工具和技术，我们提出了一种基于 Accumulated Local Effects (ALE) 模型无关方法的统计推断，建立了适用于数据集大小的自举置信区间，并引入了直观指示对结果变量尺度和规范化尺度效应的 ALE 效应量度量。此工作推动了 ALE 在机器学习和统计分析中的适用性，为该领域的主要挑战提供了实用的解决方案。

Oct, 2023

估计非零假设数目和效应大小

本文研究了估计多重检验背景下的效应大小分布的问题。我们提出了一种简单、高效的估计器，可使用廉价的试验数据，在比识别发现类试验所需采样数量显著少的情况下，估计该分布。该估计器可用于保证未来试验中给定实验设计中将被发现的发现数量，并展示了在 Drosophila 上进行的流感抑制基因敲除试验数据的有效性。

Feb, 2020

Hi-CI: 高维度深度因果推断

本文提出了一种名为 Hi-CI 的深度神经网络算法，可以使用因果推断 (CI) 从高纬度协变量和高基数处理中进行反事实回归，并通过使用去相关网络和结果预测网络解决混淆偏差问题，最后展示了该算法在合成和真实数据集上的有效性。

Aug, 2020