EMNLPJun, 2016

自然语言推理可分解注意模型

PDF
TL;DR本文提出了一种简单的神经体系结构来解决自然语言推理问题，该方法通过注意力机制将问题分解成可分别解决的子问题，从而使其可以轻松并行。在斯坦福自然语言推理（SNLI）数据集上，我们获得了最先进的结果，并且参数比先前的研究少了近一个数量级，而且不依赖于任何单词顺序信息。添加考虑到最小的顺序问题的内句注意力机制可以进一步改善结果。
neural architecturenatural language inferenceattentionparallelizablesnli dataset
发现论文，激发创造
  • 知识增强注意力用于稳健的自然语言推理

    本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。

    Aug, 2019

  • 一种端到端仿人类思维的神经网络架构用于自然语言推理

    该研究提出了一种基于神经网络的自然语言推理模型，使用表示学习、LSTM、注意力机制和可组成的神经网络来实现任务，并在 Stanford 自然语言推理数据集上实现了比文献中所有已发布模型更好的准确性。

    Nov, 2016

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016

  • 使用双向 LSTM 模型和内在注意力学习自然语言推理

    该论文提出了一种基于句子编码技术的模型，通过使用双向 LSTM 进行单词级别的平均池化生成第一阶段的句子表示，并采用注意力机制替代平均池化，以更好地表示文本蕴含关系。最终，通过对斯坦福自然语言推理语料库的实验验证了该模型具有较少的参数以及比现有最佳的句子编码方法更高的性能。

    May, 2016

  • 可解释序列分类的迭代递归注意力模型

    介绍了一种迭代递归注意力模型，通过重用以前计算的查询结果来构建输入数据的递增表示，以便在情感分类数据集上训练，并演示其在易于解释的方式下识别和组合输入的不同方面的能力，同时获得接近最先进性能。

    Aug, 2018

  • 使用 LSTM 学习自然语言推断

    本文使用 LSTM 结构，将 match-LSTM 方法引入进行单词级联匹配以预测自然语言推理中的矛盾或中性关系标签，并在 Stanford 自然语言推理数据集上表现出比其他深度神经网络方法更高的 86.1% 的准确率。

    Dec, 2015

  • 语言建模的张量变换器

    本文提出了基于张量分解和参数共享的多线性注意力模型（即 Multi-linear attention）与块状张量分解（Block-Term Tensor Decomposition，BTD）相结合的自注意力模型，该方法在语言建模和神经机器翻译任务中获得了性能改进。与多个语言建模方法（如 Transformer，Transformer-XL 和使用张量训练分解的 Transformer）相比，Multi-linear attention 不仅可以大大压缩模型参数，还可以获得性能提升。

    Jun, 2019

  • 使用预训练的解析器提升自然语言推理能力

    本研究介绍了一种新方法，将语法纳入自然语言推理（NLI）模型中。我们使用预训练的依存解析器中的上下文令牌级向量表示来实现此方法，并使用四个强 NLI 模型（可分解的注意力模型、ESIM、BERT 和 MT-DNN）进行实验，在三个 NLI 基准测试中表现出了一致的精度提高。

    Sep, 2019

  • SQL 生成中的双向注意力

    该论文探究了自然语言生成 SQL 查询的问题，并使用综合方法设计了三个深度神经网络，应用双向注意机制和卷积神经网络的字符级嵌入来提高结果，最终在 WikiSQL 数据集上达到了最先进的结果。

    Dec, 2017

  • 基于距离的自注意力网络用于自然语言推理

    本研究提出了一种基于距离的自注意力网络模型，利用简单的距离掩码考虑单词之间的距离，以便在不失去全局信息依赖的情况下建立本地依赖关系，并在 NLI 数据方面表现出良好的性能，同时长文档也有优势；而之前的基于注意力机制的模型，则没有考虑到单词之间的距离。

    Dec, 2017