EMNLPDec, 2023

可扩展的、数据驱动的理论: NLP 科学进展的范式

PDF
TL;DR我提出了一种以发展可扩展的、数据驱动的语言结构理论为核心的 NLP 科学进展的理念，该理念在于以严格限定的方式收集数据，并通过机器学习构建解释性理论，以构建可理解的 AI 系统的基础。本文介绍了使用基于问题 - 答案的语义角色标注 (QA-SRL) 对浅层语义结构进行数据驱动理论研究的几个调查，以及收集数据和理论建模的原则，这些原则能够指导未来的科学进展。
发现论文，激发创造
  • 自然语言处理研究范式转变的历时分析：何时、如何和为何？

    本研究提出了一个系统性的框架，使用因果推断与推理技术分析了科学领域中研究主题的演变趋势。通过对 ACL Anthology 语料库的广泛实验，我们有效地发现了自然语言处理研究主题的演进趋势和根本原因。

    May, 2023

  • 薛定谔树 -- 论语法与神经语言模型

    本文回顾了近年来自然语言处理领域的语言模型的发展，并探讨在研究语言模型中基于句法的研究中存在的问题以及解决方案，旨在为未来语言模型的研究提供一种较为多样化和立体化的研究视角。

    Oct, 2021

  • 现实与语言数据的限制

    这篇研究使用一个新颖的推理测试来探索语言数据对于计算机理解物理世界的可行性，并强调模型可能直接从纯语言数据中学习的内容。

    Aug, 2022

  • 语言模型中复杂技能的出现理论

    通过对语言模型的参数集和训练语料库进行扩展，可以产生新的技能，该现象对于 AI 产品的发展具有重要推动作用。本文采用简单的统计框架和知名的扩展定律分析了新技能的出现，揭示了预训练模型在学习过程中的高效性。

    Jul, 2023

  • 支持法律论证的自然语言处理：真的只需要更多数据吗？

    对于模拟法律推理和案例论证以支持决策的论文进行了回顾，揭示了传统符号逻辑与 AI 技术，并探讨了在法律自然语言处理方面的最新进展，提出融入专家知识以在符号逻辑和数据驱动方法中保持可拓展性和解释性的可能性，同时识别出挑战和现代自然语言处理模型和方法的潜力。

    Jun, 2024

  • 大语言模型新时代：先悲剧，后解析，历史再次重演

    自 2005 年开始的大型 $n$-gram 模型时代，我们从历史角度寻求灵感，以指导 NLP 研究人员在 LLMs 升级的领域继续做出有意义的贡献，并确定了第一个时代的持久教训，包括硬件进步塑造规模的可用性和重要性的首要性，自动化和人工的质量评估迫在眉睫的挑战，数据仍然是许多有意义应用的瓶颈问题，基于实际使用的有意义评估仍然是一个未解决的问题，以及仍然有空间进行猜测性方法。

    Nov, 2023

  • 构建未来，必须了解过去：自然语言处理中的范式转变的背景

    NLP 领域正在经历一系列颠覆性的变化，该研究旨在通过深入了解过去来塑造我们的未来。通过对 26 位 NLP 研究人员进行长篇采访，我们研究了影响 NLP 领域的因素，包括文化、激励和基础设施。我们的访谈对象发现该领域存在循环模式，同时也出现了历史上没有先例的新变化，包括基准文化和软件基础设施的变化。通过对 ACL 文集中的引用、作者和语言使用进行定量分析，我们进一步支持了这一讨论。最后，我们讨论了 NLP 领域未来的共同愿景、关切和希望。我们希望这项对过去和现在的研究能够引发对我们社区内隐含规范的明确讨论，并更加有意识地塑造未来。

    Oct, 2023

  • 短期内量子自然语言处理基础

    提供近期量子自然语言处理的基本概念和数学基础，在量子计算机科学家友好的术语下详细介绍了最新领域的理论发展，并引用了支持实证证据和数学广义性的参考文献，在量子模型中结合了语言意义和语法，利用 Noisy Intermediate-Scale Quantum 范例为编码语言结构提供了方便，最终在 Diagrammatic Reasoning 框架下，实现了语言与量子计算机之间的相互转换。

    Dec, 2020

  • 构建数据驱动对话系统的可用语料库调查

    通过调查可用于数据驱动型对话系统学习的公开数据集，讨论了这些数据集的重要特征，如何使用它们学习不同的对话策略以及它们的其他潜在用途。同时还研究了数据集之间的迁移学习方法和外部知识的应用，并讨论了适当的评估指标选择。

    Dec, 2015

  • 深度学习中的句法结构

    本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

    Apr, 2020