ACLMay, 2021

语言模型使用单调性来评估 NPI 许可

PDF
TL;DR本文探讨语言模型的语义知识，特别关注其是否基于语义单调性属性创建了语言环境类别，并且是否这些类别在语言模型中扮演类似于人类语言理解的作用，以否定极性项许可为案例研究。通过一系列试验，包括探针式诊断分类器、语言可接受性任务，以及一种新型的分类器排名方法，我们能够更深入地了解到这些模型所获得的语义概括。
发现论文，激发创造
  • 神经自然语言推断模型部分嵌入了词汇蕴含和否定理论

    本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

    Apr, 2020

  • 探究 BERT 对自然语言的理解：基于 NPI 的五种分析方法

    本文探讨评估预训练句子表示模型的语法知识的五种实验方法，并以英语中的负极性项（NPI）许可作为案例研究。作者发现 BERT 对关键特征有较高的了解，但其成功程度在不同的实验方法中存在差异。作者认为在其给定领域内揭示模型语法知识的各个相关方面需要多种方法。

    Sep, 2019

  • 通过语义片段探究自然语言推理模型

    通过使用语义片段，作者发现目前自然语言理解领域最先进的模型在布尔协调、量化、条件、比较和单调性推理等方面表现不佳，在这些问题上进行微调，BERT-based 模型可以掌握所有逻辑和单调性片段，同时保持其在已有 NLI 基准测试的性能。

    Sep, 2019

  • 神经模型学习自然语言中单调推理的系统性吗？

    本文介绍了一种评估神经模型能否学习自然语言的单调性推理系统性的方法，并考虑了语法结构的重要性，实验表明神经模型的推理性能在语法结构相同的情况下很好。

    Apr, 2020

  • 多任务问题下的语言建模

    本文研究语言模型作为多任务问题，结合了多任务学习，语言学和可解释性三个研究领域。通过研究来自语言学理论的假设，我们调查语言模型在训练过程中是否遵循多任务学习的学习原则。 为了展示这个想法，我们分析了语言模型在学习消极极性项（NPIs）的语言概念时的泛化行为。我们的实验表明：在更一般的语言建模任务的目标中，多任务设置自然地出现。我们认为这种洞察力对于多任务学习，语言学和可解释性研究都是有价值的，并且可能导致所有三个领域的令人兴奋的新发现。

    Jan, 2021

  • 语言模型理解什么？LSTMs 理解负极性项的能力

    本文试图将神经语言模型的内部工作与语言学理论联系起来，特别关注了形式语言学中广泛讨论的复杂现象（负）极性项，并评估了神经语言模型处理这种构造的能力。我们展示了模型在许可环境和负极性项之间找到了一种关系，并且似乎意识到了这种环境的范围。通过这项研究，我们希望为其他将形式语言学与深度学习相结合的研究铺平道路。

    Aug, 2018

  • 神经网络理解单调性推理吗？

    本文介绍了 Monotonicity Entailment Dataset (MED)，并研究了最先进的 NLI 模型在该测试集上的表现。结果表明，这些模型的表现相当差，特别是在向下推理方面，并且数据增强方法显示这些模型的向上和向下推理的泛化能力受到限制。

    Jun, 2019

  • 本体蕴含推理的语言模型分析

    研究表明，虽然预训练语言模型对于自然语言推理方面的知识有比较好的编码能力，但其对于本体论的推断需要更多的背景知识，而且在给定少量样本的情况下能够有效地进行推断。

    Feb, 2023

  • 超越分布式假设：让语言模型学习意思 - 文本对应关系

    本文介绍为了解决语言模型 (LMs) 无法满足的逻辑否定性质 (property) 所采用的方法。研究者提出一种名为 Meaning-Matching 的新的任务，用于直接帮助 LM 学习词汇语义信息，进而满足逻辑否定性质 (property)。在七个 GLUE 任务上的微调实验证明了该方法的有效性。

    May, 2022

  • HELP: 一个用于发现神经模型在单调性推理中缺陷的数据集

    本文介绍了 HELP 数据集，并将其添加到现有数据集中，用于训练最新神经模型，并评估它们在具有逻辑推理的 test sets 上的性能，在实验中，数据集有助于改善神经模型的整体准确性，特别是对于需要词汇替换的推理而言效果最佳。

    Apr, 2019