EMNLPOct, 2023

构建未来，必须了解过去：自然语言处理中的范式转变的背景

PDF
TL;DRNLP 领域正在经历一系列颠覆性的变化，该研究旨在通过深入了解过去来塑造我们的未来。通过对 26 位 NLP 研究人员进行长篇采访，我们研究了影响 NLP 领域的因素，包括文化、激励和基础设施。我们的访谈对象发现该领域存在循环模式，同时也出现了历史上没有先例的新变化，包括基准文化和软件基础设施的变化。通过对 ACL 文集中的引用、作者和语言使用进行定量分析，我们进一步支持了这一讨论。最后，我们讨论了 NLP 领域未来的共同愿景、关切和希望。我们希望这项对过去和现在的研究能够引发对我们社区内隐含规范的明确讨论，并更加有意识地塑造未来。
nlpdisruptive changecultureincentivesinfrastructure
发现论文，激发创造
  • 自然语言处理研究范式转变的历时分析：何时、如何和为何？

    本研究提出了一个系统性的框架，使用因果推断与推理技术分析了科学领域中研究主题的演变趋势。通过对 ACL Anthology 语料库的广泛实验，我们有效地发现了自然语言处理研究主题的演进趋势和根本原因。

    May, 2023

  • 自然语言处理的范式转变

    本文回顾了近年来 NLP 任务范式转移的现象，着重介绍了一些有潜力解决不同 NLP 任务的范式，这些转移可以通过深度学习和预训练语言模型等方式实现，从而提高模型性能。

    Sep, 2021

  • 自然语言处理研究的探索之旅

    通过对 ACL Anthology 中的研究论文进行系统分类和分析，我们提供了自然语言处理领域的研究概况、学科分类，分析了最近的发展，并总结了我们的发现并强调了未来工作的方向。

    Jul, 2023

  • 自然语言处理中潜在历史的回顾

    本文主要讲述了机器学习和自然语言处理需要构建数据集来训练和微调模型。在这个过程中，数据集中的社会偏见可能被编码，并被放大到我们部署的模型中。作者认为现代机器学习方法存在偏见，关注于支配性和霸权的历史。通过关注边缘化的历史，在现代条件下制定更好的代表传统边缘化和排斥社区现实的模型。

    Oct, 2022

  • 大语言模型新时代：先悲剧，后解析，历史再次重演

    自 2005 年开始的大型 $n$-gram 模型时代，我们从历史角度寻求灵感，以指导 NLP 研究人员在 LLMs 升级的领域继续做出有意义的贡献，并确定了第一个时代的持久教训，包括硬件进步塑造规模的可用性和重要性的首要性，自动化和人工的质量评估迫在眉睫的挑战，数据仍然是许多有意义应用的瓶颈问题，基于实际使用的有意义评估仍然是一个未解决的问题，以及仍然有空间进行猜测性方法。

    Nov, 2023

  • 定义一个新的 NLP 游乐场

    该论文旨在通过提出 20 多个研究方向，涵盖理论分析、新问题、学习范式和跨学科应用，来定义一个新的自然语言处理（NLP）研究领域。

    Oct, 2023

  • 揭示 2022 年 ACL 和 EMNLP 会议数据集的趋势

    自从采用 Transformer 架构以来，自然语言处理（NLP）已经显著发展。Transformers 催生了预训练大型语言模型（PLMs）。在多个任务中，NLP 系统的性能有了巨大提升，有些情况下甚至超过了人类。然而，事实仍然是，在预训练时，更好质量的数据集能够让 PLMs 在各个任务中取得更好的性能。为了满足特定需求，NLP 研究者继续创建新的数据集，而本研究旨在揭示这些数据集中所挖掘的趋势和见解，并向未来有意策划数据集的研究者提供有价值的建议。

    Mar, 2024

  • 翻译型 NLP：自然语言处理研究的新范式和通用原则

    介绍了一种新的 NLP 研究新范式 —— 翻译 NLP，利用该范式可以更好地将基础 NLP 和应用 NLP 联系起来，实现相互促进和交流，进一步推动 NLP 研究的发展。

    Apr, 2021

  • 我们所引证的人：“自然语言处理” 与其他学术领域之间的影响桥梁

    量化分析了 NLP 和其他 23 个学科领域（相互）之间的影响程度，结果显示 NLP 的学科交叉合作程度下降，自 1980 年的 0.58 降至 2022 年的 0.31（历史最低），同时 NLP 的学术引用越来越内向，主要引用计算机科学领域的论文，而对语言学、数学和心理学等领域的引用较少，这些研究结果凸显了 NLP 需要紧急反思与其他学科领域的合作交流。

    Oct, 2023

  • 自然语言处理中代码切换研究的几十年进展：趋势和挑战的系统调查

    本文针对语言学与计算机科学领域的交叉学科问题 —— 代码切换现象进行了系统性的研究综述，归纳了过去几十年的研究进展、任务挑战、学术趋势和未来研究方向等。

    Dec, 2022