本文提出了一种基于自监督任务的改进图注意力模型 SuperGAT，用于学习在有噪声图中更具有区分性的表达。研究发现，同质性和平均度是影响注意力形式和自监督任务有效性的两个图特征，并提供了在这两个情况下使用的注意力设计指南。在 17 个真实世界数据集上的实验结果表明，SuperGAT 的表现优于基线模型。

Apr, 2022

本文提出一种使用注意力机制的图神经网络，通过去除中间的全连接层，并结合图结构实现对邻域的动态自适应的总结，从而达到降低参数数量，提高半监督学习效果的目的。

Mar, 2018

本研究提出了一种名为 GCN-SA 的新型图学习框架，它具有出色的节点级表示学习的泛化能力，并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉，从而使其能够在具有不同程度同质性的图上进行表示学习。

Mar, 2024

本文提出了两种无监督自学习策略来利用输入图形结构数据中的可用信息，以进一步改善有限的训练数据下模型的学习能力和性能。该方法在三个公共引文网络数据集上使用两个代表性的 GCN 模型进行了实验验证，展示了其在显著提高特征学习方面的自我监督学习能力和可移植性。

Jun, 2020

通过结合多种模型的查询表示，用注意力机制选择最合适的模型来回答每个查询，将模型映射到柏克莱球形空间中，以学习关系和结构模式，提供更高的表现力和推断能力，并在各种链接预测基准测试中展开了广泛的实验分析，表明综合模型优于个别模型，包括最先进的方法。

Feb, 2023

本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

May, 2019

该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

Dec, 2019

提出了一种新颖的基于 Transformer 的图网络模型，实现了检索 - 阅读框架，提高了知识图谱链接预测的性能。

Dec, 2022

提出了一种名为 KGAT 的新方法，它结合了知识图谱和嵌入传播技术，旨在显式地建模知识图谱中的高阶关系以提高推荐准确性，并采用注意机制以区分邻居的重要性。实验结果表明 KGAT 显著优于现有的基于知识图谱的推荐方法

May, 2019

该研究论文提出了基于注意力机制的特征嵌入方法，能有效地捕捉到三元组周边复杂和隐式的信息，并在多个数据集上相对于现有方法实现了显著的性能提升。

Jun, 2019