结构保持图变换的调研
本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法,以提高图表示学习和预测的性能,相关模型在五个图预测基准测试中达到了最优结果。
Feb, 2022
这篇综述性论文详细调查了 Transformer 模型在图结构数据中的应用。作者们将现有的 Transformer 模型分为三类,着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面,针对不同类型的图形数据进行了性能对比,实验证实了改进后的 Graph Transformer 模型在各种图形任务上的优越性。
Feb, 2022
使用基于 Transformer 的神经网络来学习复杂的非线性动态系统,并为其赋予保持结构的特性以提高长期稳定性的工作,在实际应用中被证明非常重要。
Dec, 2023
本研究在任务导向的角度下,综述了 GNN 与图 Transformer 在计算机视觉中的应用,根据输入数据的特征分为五个类别,并根据视觉任务,详细讨论了该问题所使用的不同基于 GNN 的方法、表现、挑战和未来方向。
Sep, 2022
本文提出针对当前图表示学习中的问题,通过将节点采样策略的优化进行对抗式强化学习,以及引入一种新的分层注意力方案,来提高图卷积网络(Graph Transformer)的性能,实验结果显示了新方法的优越性。
Oct, 2022
本文通过提出新型图神经网络 Graphormer,将标准 Transformer 框架与多种简单的结构编码方法相结合,成功优化图结构数据的表示学习,特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果,并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。
Jun, 2021
本文提出了一种用于任意图的变形器神经网络结构,在注意力机制中使用了邻域连接性,用拉普拉斯特征向量代替位置编码,使用批量归一化层代替层归一化,支持边特征表示。实验表明,该结构的性能优于传统的 transformer 模型。
Dec, 2020
本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据,包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。
Oct, 2022