提出了一种新颖的基于多层结构化自我关注机制的深度神经网络，在多实例学习框架下，利用双向循环神经网络进行远程监督关系抽取，该模型显著优于现有基线模型。

Sep, 2018

提出了一种基于分层结构自注意力机制的新模型，将摘要任务作为分类问题处理，并通过信息内容、显著性、新颖性和位置表示等特征进行预测，实验结果表明该模型在 CNN / Daily Mail 和 DUC 2002 数据集上胜过当前最先进的抽取性模型。

May, 2018

本研究提出了一个基于监督学习的框架，使用上下文自注意力和多尺度技术对句子进行编码，用于医学问答任务，通过两个评分策略（语义匹配评分和语义关联评分），该框架在医学考试和临床诊断电子病历等集成数据集上实现了显著的改进。

Nov, 2018

本文提出了动态自注意力（DSA）机制，以改善自注意力的单词权重问题，提高句子嵌入的表现，在 Stanford 自然语言推理数据集中创造了最新的最先进结果，并在 Stanford 情感树库中取得了相似的结果。

Aug, 2018

使用语言学注释作为基础，提出结构改进并应用于长篇叙述文本的阅读理解中，通过提取段落单元之间的关系、事件与其参数以及代词提及之间的关系来提高模型的性能，尤其是在语境内部的语义角色关系、句内关系、长距离代词关系中。实验结果表明，在需考虑到句内、句间关系的长文本中，将注意力集中在这些关系上可以提高模型的性能。研究结果表明，使用语篇 - 语义注释可以增强自注意力模型在阅读理解中的泛化能力。

Aug, 2019

本研究提出了一种轻量级神经框架，使用实体感知的词嵌入方法、自注意机制和基于丰富语境表示的汇聚门来解决监督远程关系提取的问题和减轻之前机制的缺陷，实现了最高的分类准确性和最佳的实验结果。

Nov, 2019

本文提出了一种新的 Attentive Recursive Tree 模型，它可以根据任务动态地定位一个句子中的重要单词，在底向上进行句子嵌入的组成时，AR-Tree 可以内在地强调重要单词。通过一种端到端的加强训练策略，该模型在三个句子理解任务上表现出色。

Nov, 2018

通过将 LSTM 编码器替换为自注意力机制，能够提高最先进的判别型成分解析器的性能，特别是当用预训练的字词表示时，而且这种方法在 SPMRL 数据集的大部分语言上的性能优于以前的最佳结果。

May, 2018

本文通过引入稀疏表示的思想将 word embeddings 应用到 sentence embeddings 中，基于主题连贯性方法引入了一种新的、定量的自动化评估指标，并在电影对话数据集和 MS COCO 数据集的场景描述上观察到了 interpretability 的提高。

Sep, 2018

通过利用预训练的句子 transformers 对语义有意义的嵌入进行组合，结合文档长度线性扩展的小的注意力层，我们得到了与当前最先进模型竞争力的结果，特别是在冻结底层 transformers 的情况下，有助于避免完全微调。通过两个额外的实验进一步评估所研究的架构在比较简单的基线上的相关性。

Jul, 2023