ACLNov, 2019

并非所有断言都是平等的：选择正确的统计方法评估假设

PDF
TL;DR该论文探讨了自然语言处理中假设评估的问题，提出使用贝叶斯方法评估假设，并提供了针对该领域的最佳实践和指南。
natural language processinghypothesis assessment techniquesp-value computationbayesian inferencebest practices
发现论文，激发创造
  • NLPStatTest：比较 NLP 系统性能的工具包

    本文提出了一种基于效应大小估计的三阶段比较 NLP 系统性能的方法，并提供了一个工具包 NLPStatTest，该工具包可以自动化处理上传的 NLP 系统评估分数，进行合适的显著性检验和效应大小估计，并进行功效分析来估计 II 型错误。这个工具包提供了一个便捷和系统的方法来比较 NLP 系统性能，超越了统计显著性检验。

    Nov, 2020

  • 通过贝叶斯分析比较多个分类器的教程：是时候改变了

    该研究证明了经典的 “空假设显著性检验” 在机器学习领域的不足，提出应该转向贝叶斯统计的方法来更好地分析机器学习结果。

    Jun, 2016

  • 自然语言处理任务推荐的统计显著性检验

    该研究论文讨论了如何通过有效的统计显著性测试来证明自然语言处理 (NLP) 算法的优越性，并提出了针对该领域常见任务和评估指标的统计测试方法。

    Sep, 2018

  • 自然语言处理任务性能预测

    本文提出了一种使用回归模型来预测 NLP 实验评估分数的方法，并证明了这种方法可以有效地预测 NLP 实验结果。同时，作者还提出这种方法可以用来确定实验的子集，以获得对所有实验设置的合理预测。

    May, 2020

  • 自然语言处理中的因果推断：估计、预测、解释及其它

    该研究是一项针对自然语言处理中的因果关系研究，旨在提供因果推理与语言处理的交叉研究概述，并介绍了文本统计学方面的挑战和机遇，以及如何利用因果推理来提高 NLP 模型的健壮性，公平性和可解释性。

    Sep, 2021

  • 自然语言处理中偏见和伤害的度量

    该研究提出了有关 NLP 技术中有关社会偏见的框架和一系列问题，并且通过几个案例研究来验证了我们的框架和记录问题。

    Aug, 2021

  • 蒙特卡罗研究的评估

    通过理论分析和 Monte Carlo 模拟，对传统评估方法中存在的偏见进行了讨论，提出了一些不受偏见影响的替代评估方法，如 Cohen Kappa，并进行了实证评估。

    Apr, 2015

  • 关于自然语言处理性能效果的因果推论

    本文强调 NLP 作为一种科学，寻求从自然语言处理中应用一种方法（相比另一种方法）中产生的性能影响方面进行推断。然而，在实践中，NLP 研究通常无法实现这一目标，需要从一系列处理系统的随机样本中绘制处理系统样本以绘制推断方法性能效应。

    Sep, 2022

  • 分级评估框架：人工评估的最佳实践

    通过对现有文献进行广泛分析，我们发现在自然语言处理的人工评估方法中存在一些缺陷，这促使我们开发了一种层次化评估框架，该框架具有更全面地表示自然语言处理系统性能的显著优点，并应用于评估机器阅读理解系统及其与人工智能共生模型中的输入和输出的质量之间的关联。

    Oct, 2023

  • HCI+NLP 系统设计和评估方法

    介绍了五种方法论提案，并将其位于 ML-based 的 NLP 模型的背景下，以在 HCI 和 NLP 交叉的位置上培育跨学科合作和进步。

    Feb, 2021