句法基础的观点挖掘中的复制问题
本文通过实践者的角度，对过去 6 年中公布的代表性模型进行了评估，发现评估结果的再现性较差，并对跨领域数据迁移进行了研究，结果表明较少的领域特定数据集能够与同一地区的其他领域数据集结合使用，从而极大地缩小了完全跨领域和完全领域内预测性能之间的差距，并公开了两个大型的印度电子商务评论语料库以促进领域的进一步发展。
Jan, 2021
本研究旨在解决自然语言处理中重复性和普适性问题，并以目标相关情感分析为例，证明最近该领域的工作缺乏足够的代码共享和方法描述，缺乏对数据的可比性和泛化性。研究人员运用三种互补方法进行了第一次再现研究，并在六个不同的英文数据集上进行了第一次大规模评估，推荐未来考虑多种数据集、发布代码，以便最大程度上减少使可重复性和普遍性困难的障碍。
Jun, 2018
该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。
Sep, 2017
该研究为了检查人类对 NLP 的评估是否可重复进行了集体研究，结果发现大多数近期的研究不可重复、不可复制，需要重新设计并报告人类对 NLP 的评估方式。
May, 2023
我们的研究对两篇杰出的物质科学文献领域的先驱作品进行了重现性分析：金和安迪的 “氧化物材料机器学习和编码合成参数” 和西托扬的 “无监督词嵌入从物质科学文献中捕捉潜在知识”。我们的研究发现这两篇论文的工作流程严谨，代码可复现，获得了明确的模型评估指导；然而，还存在改进的空间，如尽可能提供训练数据的访问权限，提供更多关于模型架构和训练过程的透明度，以及规定软件依赖版本。
Jul, 2023
研究表明，代码正确性与结果可重复性应并重，通过一个案例研究，发现并修正了 Conformer 模型中的三个错误，证明了存在缺陷不影响结果的可重复性，同时也呼吁采用编码最佳实践以促进正确性和提高开发软件的质量。
Mar, 2023
本文为了解当下自然语言处理领域新手对当前研究重复性工作的需求，对 93 名 introductory NLP 课程学生开展了研究。结果表明，编程技能和对研究论文的理解与其完成任务的时间无明显相关性，而研究作者开源工作的可访问性、文档完整性、良好编程规范和易于获取数据文件等均对成功至关重要。此外，作者建议自然语言处理研究者关注这些简单但关键的方面并充分利用初学者的反馈来提供更好的支持和改进。
May, 2023
通过对 93 名入门 NLP 课程的学生进行实验，研究发现初学者技术水平并不影响他们完成最新 NLP 技术的实验，关键在于研究作者提供易用性的文档和数据集。
May, 2022