NLP 领域正在经历一系列颠覆性的变化，该研究旨在通过深入了解过去来塑造我们的未来。通过对 26 位 NLP 研究人员进行长篇采访，我们研究了影响 NLP 领域的因素，包括文化、激励和基础设施。我们的访谈对象发现该领域存在循环模式，同时也出现了历史上没有先例的新变化，包括基准文化和软件基础设施的变化。通过对 ACL 文集中的引用、作者和语言使用进行定量分析，我们进一步支持了这一讨论。最后，我们讨论了 NLP 领域未来的共同愿景、关切和希望。我们希望这项对过去和现在的研究能够引发对我们社区内隐含规范的明确讨论，并更加有意识地塑造未来。

Oct, 2023

机器学习的研究应更加关注数据集、评估指标、以及研究结果在学科领域中的传播，作者提出了 6 个目标挑战以促进机器学习的实际应用。

Jun, 2012

自然语言推理（NLI）是评估人工智能语言理解的基础。我们认为，现有模型在模糊的例子上失败并且表现出差劲的泛化能力，这是由于忽视了意义的主观性，它与个体的世界观密切相关。我们提出了一种观点主义的方法：构建捕捉注解者人口统计、价值观和标签理由的数据集。这样的数据集将明确地建模多样化的世界观。我们对 SBIC 数据集的一个子集进行的初步实验表明，即使是有限的注解者元数据也能提高模型的性能。

May, 2024

本文认为，人工智能系统受限于所学数据的完整性而非算法的复杂性，并就如何实现企业级更好数据完整性提出非正常方法，即在企业级数据转换（迁移，集成，组合，查询，查看等）过程中形式化自动保证数据的完整性不断得到保留，不需要对数据和依赖于数据的程序进行反复验证，避免了数据湖方法的缺陷。

Jan, 2020

本文旨在借助杂乱无序的非标准数据，通过适当的算法结合，解决自然语言处理中的性能下降问题和语言的多样性问题，从而生产出更强大和适应性更强的自然语言技术。

Aug, 2016

本文综述了在机器学习中收集和使用数据的许多问题和担忧，并提倡通过更谨慎和深入的数据理解来解决实践和伦理问题。

Dec, 2020

我们研究了在视觉和语言模型训练中使用大型未筛选数据集的不公平表现，以及如何应对这个问题，研究发现社会偏见在图像生成、图像描述和图像文本嵌入等视觉语言任务中都是一个持续而普遍的问题。

Apr, 2023

这篇论文探讨了机器学习模型的有效性，强调了数据的重要性以及对数据进行优化以提高模型效果的必要性，并指出需要将关注点从算法改进转移到数据的优化。

Nov, 2021

介绍了如何建立大规模数据集用于机器学习，提出了处理数据瓶颈问题的分类方法，旨在提高社区对这些方法的认识并促进资源的更有效利用。

Nov, 2022

本文阐述 “数据透视主义” 的概念，提出通过采取人类主体在机器学习过程中所涉及到的知识表达方法，来代替传统的黄金标准数据集。文章探讨了如何在实践中采用透视主义态度来解决主观和客观机器学习任务的问题，并提出相关建议和研究议程。

Sep, 2021