针对叙事阅读理解的语境感知语义自注意力

EMNLPAug, 2019

针对叙事阅读理解的语境感知语义自注意力

Discourse-Aware Semantic Self-Attention for Narrative Reading Comprehension

Todor Mihaylov, Anette Frank

TL;DR使用语言学注释作为基础，提出结构改进并应用于长篇叙述文本的阅读理解中，通过提取段落单元之间的关系、事件与其参数以及代词提及之间的关系来提高模型的性能，尤其是在语境内部的语义角色关系、句内关系、长距离代词关系中。实验结果表明，在需考虑到句内、句间关系的长文本中，将注意力集中在这些关系上可以提高模型的性能。研究结果表明，使用语篇 - 语义注释可以增强自注意力模型在阅读理解中的泛化能力。

Abstract

In this work, we propose to use linguistic annotations as a basis for a \textit{discourse-aware semantic self-attention} encoder that we employ for reading comprehension on long narrative texts. We extract relati

discourse-aware semantic self-attention reading comprehension semantic role relations coreference relations self-attention models

发现论文，激发创造

一种结构化的自注意句子嵌入

本文提出了一种基于自注意力机制的句子嵌入模型，通过使用二维矩阵表示嵌入，并让每行矩阵分别关注句子中不同的部分，提高了可解释性。并在作者分析、情感分类和文本蕴含等三个任务中进行了模型评估，在所有任务中与其它句子嵌入方法相比表现出了显著的性能提升。

Mar, 2017

一种论述感知的长文本抽象摘要关注模型

本文提出了一种针对单个较长文档（如研究论文）进行抽象概括的模型，采用新的分层编码器对文章进行语篇结构建模，并运用有意识的编码器生成摘要，实验证明该模型显著优于现有模型。

Apr, 2018

利用重复阅读的神经网络多层注意力识别隐含的语篇关系

本文通过结合注意力机制和外部记忆的神经网络，提出了多级关注度（NNMA）方法，用于识别隐含的言语关系。实验结果证明，本方法在 PDTB 数据集方面达到了最先进的成果，并且注意权重的可视化揭示了模型在逐渐固定关注度并定位重要词汇的过程。

Sep, 2016

基于增强语法自注意力的语义角色标注

本文研究了如何有效地将句法知识融入语义角色标注（SRL）任务中，使用不同质量和表示的依赖树的不同编码方法，提出了一种句法增强的自注意模型，并与其他两种强基准方法进行了比较，并使用新发布的深度上下文化词表示进行了实验。实验结果表明，通过正确地融合高质量的句法信息，我们的模型在 CoNLL-2009 数据集的中文 SRL 任务中取得了新的最佳表现。

Oct, 2019

带有结构注意力的神经抽象摘要

本文提出了一种基于结构化注意力的分层编码器，用于建模句内和文档间相互依赖关系，在多文档摘要生成任务中表现出显著的改进，击败了现有的模型。

Apr, 2020

基于注意力的语义相关性预测中文句子阅读

该研究提出了一种具有注意力机制的方法来计算上下文语义相关性，这种方法能更准确地预测眼动数据库中基于汉语阅读任务的定视持续时间，并具有高解释性，有助于深入理解语言理解过程。

Mar, 2024

基于距离的自注意力网络用于自然语言推理

本研究提出了一种基于距离的自注意力网络模型，利用简单的距离掩码考虑单词之间的距离，以便在不失去全局信息依赖的情况下建立本地依赖关系，并在 NLI 数据方面表现出良好的性能，同时长文档也有优势；而之前的基于注意力机制的模型，则没有考虑到单词之间的距离。

Dec, 2017

利用知识关注力提高关系提取

本文提出了一种新颖的知识 - 注意力编码器，并介绍了三种将知识 - 注意力与自注意力相结合的有效方法。提出的关系提取系统是端到端和完全基于注意力的，实验证明知识 - 注意力机制与自注意力相互补充，在 TACRED 上实现了最先进的性能，并且胜过了现有的 CNN、RNN 和自注意力模型。

Oct, 2019

使用关系感知自注意力编码数据库模式，用于文本到 SQL 解析器

通过使用自我关联，让编码器理解表格和列之间的关系，以及将该信息使用在问题的解释过程中，使得神经编码器 - 解码器系统能够在 SQL 查询的实现上具有较好的泛化性，从而在 Spider 数据集上获得 42.94% 的精确匹配准确率。

Jun, 2019

阅读理解和问答的多粒度层次注意力融合网络

本文提出了一种新颖的分层注意力网络，用于阅读理解式问题回答，在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码，引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后，引入分层注意力网络，通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性，同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。

Nov, 2018