Oct, 2019

MonaLog: 一种基于单调性的自然语言推理轻量级系统

HTML
PDF
TL;DR我们介绍了一种基于自然逻辑和单调性演算的自然语言推理（NLI）新逻辑推理引擎MonaLog。通过将我们的系统与当前最先进的模型BERT相结合，我们展示了MonaLog在组合数据增强等多种情况下为BERT生成高质量的大量训练数据，提高了其在SICK上的准确性。
发现论文，激发创造
  • 自然语言推理中仅基于假设的基准线

    在十个不同的自然语言推理数据集上进行实验后，我们发现使用一种仅基于假设的模型，即使忽略上下文，也可以显著优于大多数 NLI 数据集的大多数基线，分析表明统计异常性可能允许模型在某些数据集中执行 NLI，超出不带上下文访问时本应实现的界限。

    May, 2018

  • CLUTRR: 基于文本归纳推理的诊断基准测试

    本研究通过引入名为CLUTRR的诊断基准套件，研究了自然语言理解系统的鲁棒性和系统性等关键问题，基于归纳逻辑编程的经典工作，要求NLU系统推断短故事中人物之间的亲属关系，通过添加嘈杂的事实并评估模型的保真度，以及在保留逻辑规则的组合中评估模型的系统化推广能力，验证了图形神经网络模型的性能高于BERT和MAC等最先进的NLU模型。

    Aug, 2019

  • 通过语义片段探究自然语言推理模型

    通过使用语义片段，作者发现目前自然语言理解领域最先进的模型在布尔协调、量化、条件、比较和单调性推理等方面表现不佳，在这些问题上进行微调，BERT-based模型可以掌握所有逻辑和单调性片段，同时保持其在已有NLI基准测试的性能。

    Sep, 2019

  • 使用预训练的解析器提升自然语言推理能力

    本研究介绍了一种新方法，将语法纳入自然语言推理（NLI）模型中。我们使用预训练的依存解析器中的上下文令牌级向量表示来实现此方法，并使用四个强NLI模型（可分解的注意力模型、ESIM、BERT和MT-DNN）进行实验，在三个NLI基准测试中表现出了一致的精度提高。

    Sep, 2019

  • 使用比较和广义量词进行逻辑推理

    本研究提出了一种基于组合范畴语法的组成性语义，并与基于自动定理证明的推理系统相结合，成功将英语中各种比较结构映射到语义表示中，本研究在包含比较、量词和数字的三个自然语言推理数据集上的实验证明该系统的表现优于之前的逻辑系统和最新的深度学习模型。

    May, 2020

  • 学习作为推理：可训练的自然逻辑定理证明器用于自然语言推理

    论文介绍了一种基于逆推的推理方法(abduction)，该方法在自然语言推理中的应用可以有效地提高定理证明器的性能，提高处理语义关系的精度。

    Oct, 2020

  • NeuralLog: 使用联合神经和逻辑推理的自然语言推理

    提出了一个融合符号与深度学习方法的推理框架 NeuralLog，通过结合单调性逻辑推理引擎和神经网络语言模型进行短语对齐，并使用 beam search 算法解决 NLI 任务，实验证明该联合推理系统在 NLI 任务上提高了准确性，并可在 SICK 和 MED 数据集上实现最先进的准确性。

    May, 2021

  • 发掘更多的浅层启发式：使用三段论模式探究基于Transformer预训练语言模型的自然语言推理能力

    本文探讨了预训练语言模型在自然语言推理方面的浅层启发式方法，指出缺乏泛化性。通过构建自己的基于syllogistic的数据集并评估其在一系列模型上的表现，发现模型过多地依赖某些浅层启发式方法，暗示目前的模型不是在学习自然语言推理，而是一些虚假的启发式方法。

    Jan, 2022

  • 基于跨度级别预测的逻辑推理，实现可解释且鲁棒的自然语言推理模型

    通过引入基于逻辑推理的框架，创造出基于逻辑规则的非常透明的模型决策，从而提高自然语言推理模型的可解释性和鲁棒性，并在减少数据的情况下更进一步地改善了模型性能和鲁棒性。

    May, 2022

  • 使用生成的事实作为原子的自然语言推理的逻辑推理

    本研究提出了一种模型无关的逻辑框架，以确定每个输入中负责每个模型决策的特定信息并生成可解释的自然语言推理模型，其性能优于当前最先进的神经模型，适用于高度挑战性的ANLI数据集。

    May, 2023