Aug, 2019

知识增强注意力用于稳健的自然语言推理

PDF
TL;DR本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。
neural network modelsnatural language inferencerobustnessexternal knowledgeattention mechanism
发现论文，激发创造
  • 使用人类解释监督模型关注力以强化自然语言推理

    探究利用自然语言解释来监督模型的注意力权重，促使其更集中于解释中的关键词，从而提高模型性能，此方法的实验表明，这种改进可以适用于其它 NLI 数据集

    Apr, 2021

  • 带有外部知识的神经自然语言推理模型

    本文研究在于如何用外部的知识来丰富神经网络的自然语言推理模型，并展示了这些模型如何在 SNLI 和 MultiNLI 数据集上实现最先进的性能水平。

    Nov, 2017

  • 自然语言推理可分解注意模型

    本文提出了一种简单的神经体系结构来解决自然语言推理问题，该方法通过注意力机制将问题分解成可分别解决的子问题，从而使其可以轻松并行。在斯坦福自然语言推理（SNLI）数据集上，我们获得了最先进的结果，并且参数比先前的研究少了近一个数量级，而且不依赖于任何单词顺序信息。添加考虑到最小的顺序问题的内句注意力机制可以进一步改善结果。

    Jun, 2016

  • 稳健自然语言推理中的模型无关去偏策略的实证研究

    本文探索了多种方法使自然语言推理模型具有鲁棒性，包括模型去偏，数据增强等，并提供了性能较好的模型集成方法。

    Oct, 2020

  • 利用知识关注力提高关系提取

    本文提出了一种新颖的知识 - 注意力编码器，并介绍了三种将知识 - 注意力与自注意力相结合的有效方法。提出的关系提取系统是端到端和完全基于注意力的，实验证明知识 - 注意力机制与自注意力相互补充，在 TACRED 上实现了最先进的性能，并且胜过了现有的 CNN、RNN 和自注意力模型。

    Oct, 2019

  • 知识注入的自注意力变换器

    本论文旨在提出一种有系统的方法将外部知识图谱融入 Transformer 模型中，以解决在语言模型中存在的幻觉和对人类用户生成无用和不安全输出的问题，并在 GLUE 基准测试任务上进行大量实验证明其有效性。

    Jun, 2023

  • MENLI: 自然语言推理的鲁棒性评估度量

    本文提出基于自然语言推断方法的评价指标，相比以往 BERT-based 评价指标更具鲁棒性，并结合其他评价指标可以同时提高鲁棒性和质量指标。

    Aug, 2022

  • Transformer 模型的轻松注意力

    本文通过实验表明，构建基于 relaxed attention 的 transformer 架构，可以通过抑制自动回归 transformer 解码器的内部语言模型，实现有效地整合外部语言模型，并且提高了通用 transformer 架构的正则化能力。

    Sep, 2022

  • 探究预训练和知识增强模型在自然语言推理中的应用的多个实验

    该研究探索了无监督预训练和外部知识对自然语言推断任务的影响，以了解其如何帮助自然语言理解和解决 NLP 问题。

    Apr, 2019

  • 深度强化学习模型用于摘要生成

    提出了一种基于编码器 - 解码器和 RNN 的自注意力神经网络模型，通过组合监督和强化学习来训练和生成连贯性和可读性更强的长文摘要，与目前最先进模型相比，在 CNN / Daily Mail 数据集上取得了 41.16 的 ROUGE-1 得分，并且人工评估表明我们的模型产生了更高质量的摘要。

    May, 2017