Nov, 2018

非派生子序列对自然语言推理的挑战

PDF
TL;DR本文介绍一个挑战集用以测试 NLI 系统是否使用了一个启发式方法：假设一个句子包括了其所有子序列，如 “Alice 相信 Mary 在说谎” 就包括了 “Alice 相信 Mary” 等。作者评估了几个有竞争力的 NLI 模型并发现了有力的证据说明它们确实依赖于子序列启发式方法。
neural network modelsnatural language inferenceheuristicschallenge setsubsequence heuristic
发现论文，激发创造
  • 生成自然语言推断链

    该论文提出了一项新的任务，即通过一个源句子生成一个蕴含的句子，使用带有关注力的 LSTM 模型对斯坦福自然语言推理语料库的蕴含对进行训练，在手动注释的测试集上，82% 的生成句子是正确的，还使用递归方法生成自然语言推理链，从而自动构造了一个蕴含图。

    Jun, 2016

  • 自然语言推理中的句法启发式诊断：看出其本质

    通过研究自然语言推断中机器学习模型的三种不可靠启发式方法：词汇重叠启发式，子序列启发式和成分启发式，我们引入了一个名为 HANS 的数据集，以确定模型是否采用了这些启发式，并发现 BERT 等最先进的模型在 HANS 上表现非常差，说明 NLI 系统仍有很大改进空间。

    Feb, 2019

  • 神经自然语言推断模型部分嵌入了词汇蕴含和否定理论

    本研究通过四种方法评估自然语言推理 (NLI) 模型是否可以学习词汇蕴涵和否定之间的组合交互作用，并提出了一个新的自然数据集 MoNLI，其中集中了词汇蕴涵和否定的相关内容，通过对 MoNLI 的 Fine-tuning 得到的模型相较于通用 NLI 数据集拥有更好的效果，同时对当前表现最佳的 BERT 模型进行探究表明其至少部分嵌入了词汇蕴涵和否定的算法级别理论。

    Apr, 2020

  • 使用 LSTM 学习自然语言推断

    本文使用 LSTM 结构，将 match-LSTM 方法引入进行单词级联匹配以预测自然语言推理中的矛盾或中性关系标签，并在 Stanford 自然语言推理数据集上表现出比其他深度神经网络方法更高的 86.1% 的准确率。

    Dec, 2015

  • 通过语句组合搜索进行自然语言推理

    本文提出了一种基于自然语言的演绎推理系统，通过将任务分解为逐步协调的步骤，并由搜索程序生成中间结论的树，可以成功地证明真实的语句并拒绝虚假的语句。

    Jan, 2022

  • 多前提自然语言推理

    该论文定义了一项新的文本蕴含任务，要求对多个前提句子进行推断，提出了一个新的数据集来最小化平凡的词汇推理，强调对日常事件的知识，并为文本蕴含提出了一个更具挑战性的环境；同时评估了多种强力神经网络基线，并分析多个前提任务与标准文本含义的区别。

    Oct, 2017

  • ConjNLI：联合句子的自然语言推理

    这篇论文介绍了一个新的自然语言推理挑战 ——ConjNLI，用于测试具有不同布尔和非布尔推理的含多个并列连词 (“and”，“or”，“but”，“nor”)、量词和否定语的结合句子的理解能力。研究表明，像 RoBERTa 这样的预训练语言模型在理解这种句子的语义时仍存在挑战，目前呼吁对于并列的更好理解和处理的未来的工作。

    Oct, 2020

  • 神经 NLI 模型中自然逻辑特征的因果效应估计

    本文探讨了如何评估语义特征对语言模型预测的因果效应以及如何利用因果分析方法构建比较模型来评估 NLI 任务，强调因为可解释性和模型评估的需要，对于具有足够结构化和规律性的推理模式进行系统分析是非常有价值的

    May, 2023

  • AMR4NLI：来自语义图的可解释且健壮的 NLI 度量

    本研究通过比较语义结构来表示前提和假设之间的语义关系，使用可解释的度量标准计算假设是否是前提的语义子结构，并在三个英文基准测试中评估了使用语境化嵌入和语义图表达的价值，并发现它们提供了互补的信号，并可以在混合模型中一起利用。

    Jun, 2023

  • 自然语言句子之间蕴含和矛盾关系的识别：一种神经符号方法

    提出了一个基于将文本转换为抽象意义表示（AMR）图的新型流水线，通过预训练的 AMR 解析器将 AMR 图转换为命题逻辑，并使用 SAT 求解器进行自动推理，引入了松弛方法以允许替换或遗忘某些命题。实验结果表明该流水线在四个 Recognizing Textual Entailment 数据集上表现良好。

    May, 2024