该论文提出了一种基于 LUKE 模型和关系图注意力机制的 LUKE-Graph 模型，将实体与关系进行异构图建模，以实现预训练模型中的先前知识加入，取得了 ReCoRD 数据集中常识推理方面最好的表现。

Mar, 2023

通过语法和树结构，我们使用基于语言学的方法识别实体，并通过相对和全局注意机制增强模型特征，最终在标记空间中线性投影加权向量以预测实体标签，发现该模型可以检测揭示句子中实体类型的单词，并在两个数据集上创立了新的最新技术水平。

Sep, 2019

本文描述了如何使用关系注意力处理图数据，以及在各种基准测试中比图神经网络做得更好的关系变压器。

Oct, 2022

本研究提出了一种轻量级神经框架，使用实体感知的词嵌入方法、自注意机制和基于丰富语境表示的汇聚门来解决监督远程关系提取的问题和减轻之前机制的缺陷，实现了最高的分类准确性和最佳的实验结果。

Nov, 2019

本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

Mar, 2018

本文提出了一种基于双向 transformer 的新预训练上下文表示方法来处理实体，通过在维基百科中的大型实体注释语料库上预测随机屏蔽的单词和实体，训练了一个新的与实体相关的自注意机制，实现了在实体相关任务中的良好表现。

Oct, 2020

本文介绍了 Graformer，一种新颖的基于 Transformer 的编码器 - 解码器体系结构，用于图形到文本的生成。使用我们新颖的图形自我关注，节点的编码依赖于输入图中的所有节点，促进了全局模式的检测。通过学习不同关注头的节点之间的权重，Graformer 实现了不同的连接视图，从而在 AGENDA 和 WebNLG 这两个流行的图形到文本生成基准测试中实现强大的性能。

Jun, 2020

本文提出如何在关系抽取任务中使用自注意力和相对位置编码。使用一个位置感知的注意力层，利用相对位置编码使每个单词考虑其左右上下文，仅使用注意力机制，在 TACRED 数据集上表现显著提升。

Jul, 2018

该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用 BERT 在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。

Jun, 2021

该论文提出了一种新颖的基于关系感知图注意力网络的框架，旨在捕捉实体和关系之间的交互，并通过全局对齐算法生成一个细粒度相似性矩阵，以实现多个知识图之间的实体对齐任务，实验结果表明，该框架的性能超过了现有的最先进方法。

Mar, 2021