自然语言处理初学者的再现性经验之外：超越研究界的再现性
本文通过作者的教学经验，探讨了在没有相关课程生态系统的情况下，向不同背景的学生教授自然语言处理(NLP)的挑战，同时也指出了NLP研究者和工具开发者在该领域需要面对的几个挑战领域。
May, 2021
为了民主化机器学习方法，本文概述了一年长的在线自然语言处理（NLP）课程，旨在向计算社会科学（CSS）学者教授高级NLP方法，以及经过时间变化进行语言分析。
Nov, 2022
研究表明，代码正确性与结果可重复性应并重，通过一个案例研究，发现并修正了Conformer模型中的三个错误，证明了存在缺陷不影响结果的可重复性，同时也呼吁采用编码最佳实践以促进正确性和提高开发软件的质量。
Mar, 2023
近期大型语言模型的进展已经使得许多生成性NLP应用程序得以部署，同时也导致了一个误导性的公共话语，“所有问题都已经解决了”。同时，此也引起了许多NLP研究者，特别是初入行者，对于他们应该专注于哪个NLP研究领域产生了怀疑。本文档汇编了许多丰富的NLP研究方向，反映了学术研究实验室中不同博士生的观点。虽然我们确定了许多研究领域，但许多其他领域也存在。我们不涵盖那些当前由LLMs解决但在LLMs的性能落后的领域，以及那些专注于LLM的发展的领域。欢迎提出包含在内的其他研究方向：
May, 2023
本文为了解当下自然语言处理领域新手对当前研究重复性工作的需求，对93名introductory NLP课程学生开展了研究。结果表明，编程技能和对研究论文的理解与其完成任务的时间无明显相关性，而研究作者开源工作的可访问性、文档完整性、良好编程规范和易于获取数据文件等均对成功至关重要。此外，作者建议自然语言处理研究者关注这些简单但关键的方面并充分利用初学者的反馈来提供更好的支持和改进。
May, 2023
本文通过分析NLP可重复性核对清单，发现清单的发布提升了NLP论文关于效率、验证性能、汇总统计和超参数等关键信息的披露率，且论文被接受的概率与符合要求的回复量呈正相关，同时提出了未来会议的一系列改进建议。
Jun, 2023
本文调查了语音与语言处理领域七个相关会议的27,717篇论文，发现相比其他会议，Interspeech会议开源代码的可用性出现了高达40%的下降，文中提供了提高可复现性的建议和可能的方向。
Jun, 2023
我们分析了存档在ACL文集中的一批NLP研究论文，以量化NLP社区中的开放程度以及这种开放文化的好处。我们观察到在不同的NLP场馆发表的论文显示出与工件重复使用相关的不同模式。同时，我们注意到超过30%的我们分析的论文未公开发布其工件，尽管承诺如此。此外，我们观察到与NLP相关的公开工件存在广泛的语言差异。
Jun, 2024
本研究针对NLP研究定义的争议，量化分析了近2千篇NLP论文的贡献和分类。通过构建NLPContributions数据集并提出一项自动识别贡献类型的新任务，发现自90年代以来机器学习在NLP中的参与度逐渐上升，而对语言和人类知识的关注则有所下降，并在2020年后再次回升。此研究促进了对NLP研究本质的理解，并希望引发社区的深入讨论。
Sep, 2024