Feb, 2024

引证遗忘症：自然语言处理与其他学术领域正经历引证时代的衰退

PDF
TL;DR研究调查了在 20 个学科领域长达 43 年（1980-2023 年）内引用老旧文献的倾向。我们将 NLP 引用老旧文献的趋势与其他 20 个领域的情况进行比较，分析 NLP 是否与这些领域在引用时间上存在相似的模式或是否可以观察到差异。我们的分析基于大约 2.4 亿篇论文的数据集，揭示了一个更广泛的科学趋势：许多领域在引用老旧文献方面明显减少（例如心理学、计算机科学）。我们将这种减少称为 “引文衰退时期”，类似于经济学家对减少经济活动的定义。这一趋势在 NLP 和机器学习研究中最为明显（引文年龄下降 12.8% 和 5.5%）。我们的结果表明，引用更近期的文献并不是直接由出版率的增长所驱动（跨领域下降 3.4%，人文学科下降 5.2%，形式科学下降 5.5%）- 即使考虑到论文数量的增加。我们的研究结果引发了关于科学界对过去文献的参考情况的质疑，特别是对于 NLP，并且关于忽视老旧但相关研究的潜在后果。我们的数据和演示结果已经公开提供。
citeolder worktemporal citation patternscitation age recessiongrowth in publication rates
发现论文，激发创造
  • 自然语言处理中是否存在引用年龄偏见？

    在这项研究中，通过分析在 2013 至 2022 年期间提交到流行的预印本服务器 Arxiv 的大约 300,000 篇涉及 15 个不同科学领域的论文的参考文献，我们发现所有人工智能子领域（尤其是 cs.AI，cs.CL，cs.CV，cs.LG）都存在相似的引证年龄健忘现象，参考文献的年龄平均减半（从 2013 年的 12 岁以上减少到 2022 年的 7 岁以下），这种趋势并非是 NLP 社区的引证年龄偏见，而是这些研究领域的动态造成的。

    Jan, 2024

  • 忘却之知：探讨 NLP 领域里的引用失忆症

    通过分析大约 71.5K 篇论文，系统而实证地研究了引文的广泛时空模式，重点关注了 NLP 领域，发现引用文献的年代多集中在最近 5 年，而且引用多样性呈下降趋势，最近十年高引用论文的引文多样性也较低。

    May, 2023

  • 我们所引证的人：“自然语言处理” 与其他学术领域之间的影响桥梁

    量化分析了 NLP 和其他 23 个学科领域（相互）之间的影响程度，结果显示 NLP 的学科交叉合作程度下降，自 1980 年的 0.58 降至 2022 年的 0.31（历史最低），同时 NLP 的学术引用越来越内向，主要引用计算机科学领域的论文，而对语言学、数学和心理学等领域的引用较少，这些研究结果凸显了 NLP 需要紧急反思与其他学科领域的合作交流。

    Oct, 2023

  • 一种用于科学领域行为分析的引文分类方法

    该研究通过分析近 2,000 份自然语言处理领域内的引用来研究作者引用的方式和读者跟随引用的方式，发现作者的引用方式受到话语结构和出版场所的影响，聚焦于前后文而非方法。还证明了如何引用相关工作能够预测一篇论文的引用次数，并且引用角色的变化表明 NLP 领域正在经历一次重大的共识增加。

    Sep, 2016

  • NLLG 季度 arXiv 报告 09/23：当前最有影响力的人工智能论文是什么？

    人工智能（AI）领域中，自然语言处理（NLP）、机器学习（ML）和计算机视觉（CV）是主要的研究方向和研究领域，此篇研究报告通过对 arXiv 上最引用的论文的分析，对数据集特征、关键词的流行程度和全球机构的分布进行了研究，发现 NLP 在研究中占主导地位，并且美国在相关论文中占据主导地位，而欧洲在最引用的论文中表现较差。

    Dec, 2023

  • NLP 研究中地理引用漏洞

    本研究调查自 2000 年代初以来的自然语言处理领域文章发表的地理分布与发表成功率及引用量的关系，发现存在明显差距，并且这种差距仍在增加，即使已采取了一些措施提高地理多样性。

    Oct, 2022

  • NLLG 季度 arXiv 报告 06/23：当前最有影响力的人工智能论文是什么？

    该报告旨在通过识别与 NLP 和 ML 相关的最受欢迎的论文，为研究者和从业者提供一个快速指南，着重应对信息过载问题和了解当前趋势。最受引用的论文主要涉及 LLM 效率、评估技术、伦理考虑、有身体的机器人和 LLM 的问题解决，其中 NLP 相关论文最为具有影响力。

    Jul, 2023

  • 构建未来，必须了解过去：自然语言处理中的范式转变的背景

    NLP 领域正在经历一系列颠覆性的变化，该研究旨在通过深入了解过去来塑造我们的未来。通过对 26 位 NLP 研究人员进行长篇采访，我们研究了影响 NLP 领域的因素，包括文化、激励和基础设施。我们的访谈对象发现该领域存在循环模式，同时也出现了历史上没有先例的新变化，包括基准文化和软件基础设施的变化。通过对 ACL 文集中的引用、作者和语言使用进行定量分析，我们进一步支持了这一讨论。最后，我们讨论了 NLP 领域未来的共同愿景、关切和希望。我们希望这项对过去和现在的研究能够引发对我们社区内隐含规范的明确讨论，并更加有意识地塑造未来。

    Oct, 2023

  • ACL 文献数据库的历时研究：自然语言处理文献的现状

    分析了 ACL Anthology 中自然语言处理研究的文献，关注研究的生产力、关注点和影响，特别强调了 NLP 研究出版物的多元化和包容性，并发现只有约 30％的第一作者是女性，并且即使考虑了经验，女性第一作者的引用量也比男性第一作者低。

    Nov, 2019

  • 合作还是企业控制？量化 NLP 对工业产物和贡献的依赖程度

    自然语言处理中智能模型的进步与行业模型的重要性及其对学术论文的影响进行调查，发现与行业的合作在 NLP 出版物中有显著依赖性，并探讨了两种可能的解释。

    Dec, 2023