本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。

Jun, 2018

研究了自然语言处理领域内可重复性的困境，探索了不同声音和共通点。

Mar, 2021

本文介绍了一项对于基于句法的方面级情感挖掘的三种著名算法的经验可重复性研究，表明由于预处理和参数设置缺少细节以及缺乏可用的代码实现以阐明细节，再现结果仍然是一项困难的任务，这是该领域的重要研究威胁。因此，鼓励代码驱动的研究在帮助研究人员更好地理解最新技术意义和生成持续进展方面具有关键作用。

Jan, 2017

合作竞争的科学和技术领域变得越来越受欢迎。本文描述了一种评估方法来对比竞赛结果和竞争。这种方法具有普适性，但是以八个自然语言竞赛为案例进行了说明，涉及分类和回归问题。所提出的方法具有多种优势，包括与修正机制的即插即用比较和置信区间的包含。此外，我们引入了一些指标，使组织者能够评估竞赛的难度。我们的分析显示了我们方法在有效评估竞赛结果方面的潜在有用性。

Mar, 2024

我们的研究对两篇杰出的物质科学文献领域的先驱作品进行了重现性分析：金和安迪的 “氧化物材料机器学习和编码合成参数” 和西托扬的 “无监督词嵌入从物质科学文献中捕捉潜在知识”。我们的研究发现这两篇论文的工作流程严谨，代码可复现，获得了明确的模型评估指导；然而，还存在改进的空间，如尽可能提供训练数据的访问权限，提供更多关于模型架构和训练过程的透明度，以及规定软件依赖版本。

Jul, 2023

本文通过实践者的角度，对过去 6 年中公布的代表性模型进行了评估，发现评估结果的再现性较差，并对跨领域数据迁移进行了研究，结果表明较少的领域特定数据集能够与同一地区的其他领域数据集结合使用，从而极大地缩小了完全跨领域和完全领域内预测性能之间的差距，并公开了两个大型的印度电子商务评论语料库以促进领域的进一步发展。

Jan, 2021

该研究论文讨论了如何通过有效的统计显著性测试来证明自然语言处理 (NLP) 算法的优越性，并提出了针对该领域常见任务和评估指标的统计测试方法。

Sep, 2018

探讨 NLP 系统的公正性和健壮性，需要进行可靠性测试以制定和实施行业标准。

May, 2021

近年来，NLP 模型取得了巨大的进展，尤其是通过这方面的大量数据集进行性能评估。然而，有关特定数据集设计选择可能如何影响我们对模型能力的结论仍存在问题。本研究在组合泛化领域调查了六种建模方法在 4 个数据集上的表现，这些数据集根据 8 种组合分割策略进行划分，总计有 18 种组合泛化划分。我们的结果表明：i) 尽管所有数据集都设计用于评估组合泛化能力，但它们对建模方法的排名是不同的；ii) 由人类生成的数据集彼此之间更加一致，而与合成数据集之间的一致性较差；iii) 通常来说，数据集是否来自相同源头对于得到的模型排名的预测性更强，而是否保持相同的组合性解释则次之；iv) 数据中使用的词汇项目可以极大地影响结论。总的来说，我们的结果表明，在评估流行的评估数据集是否测量其意图时还有很多工作要做，建立更严格的评估标准可能有助于该领域的发展。

Oct, 2023

该研究为了检查人类对 NLP 的评估是否可重复进行了集体研究，结果发现大多数近期的研究不可重复、不可复制，需要重新设计并报告人类对 NLP 的评估方式。

May, 2023