本文针对机器学习和深度学习领域中的统计显著性检验问题,提供易用的软件包含多种适合研究需求和可用性的显著性检验和实用功能。
Apr, 2022
本文研究了 Bayesian 网络的身份测试和相似性测试的性质,提出了第一个非平凡的高效测试算法,并给出了相应的信息理论下界,其测试样本复杂度在维度上是亚线性的,适用于各种参数设置,是样本的最优解,直到常数因子。
Dec, 2016
本文旨在从几何和高维统计推理的概念和技术入手,通过对图拉普拉斯矩阵空间的精确定义和 Fréchet 的非参数平均概念,为功能神经成像数据的网络构建提供一种新的全局测试方法,并展示了其相较于基于无差别分析的单变量方法更具统计学优势的全局测试方法。此外我们还给出了一种可视化每条边对于总测试统计量的单独贡献的方法。
Jul, 2014
该研究论文讨论了如何通过有效的统计显著性测试来证明自然语言处理 (NLP) 算法的优越性,并提出了针对该领域常见任务和评估指标的统计测试方法。
Sep, 2018
该研究证明了经典的 “空假设显著性检验” 在机器学习领域的不足,提出应该转向贝叶斯统计的方法来更好地分析机器学习结果。
Jun, 2016
统计学意义检验用于自然语言处理(NLP)中,用于确定研究或实验的结果是否可能是由于偶然性还是反映了真实关系。我们在模型基于度量的统计显著性测试中,考虑模型误差对样本方差的影响,并通过公共基准数据集和生产系统的实验,展示了在某些实验中,考虑模型误差计算样本方差对模型基于度量的结果产生了改变。
Dec, 2023
本文提出了一种基于现有的可解释人工智能(XAI)方法的、适用于机器学习的无模型假设检验框架,其中利用 Fisher 的变量置换算法计算等效于 OLS 回归模型的 Cohen's f2 的效应量度量,并将 Mann-Kendall 检验和 Theil-Sen 估计器应用于 Apley 的累积局部效应图,以指定变量的影响方向和统计显著性。该方法在人工数据集和社会调查中得以证明其有效性。
Feb, 2023
基于网络输出的一个稳健假设检验框架,我们提出了一种新的分类模型之间的相似性度量方法,该方法可以适应经过训练模型的其他衍生量。
Oct, 2023
本文提出了一种贝叶斯方法,以测试不同群体之间神经网络结构的全局和局部差异,从而为人类大脑网络与创造力之间的关系提供了新的见解。
Nov, 2014
该研究探讨了在自然语言处理实证研究中,常用统计方法在独立性假设违反情况下,低估了统计差异的问题,并提出了一些不需要独立性假设的有效测试方法。
Aug, 2000