Jul, 2024

图转换器：综述

HTML
PDF
TL;DR图转换器是机器学习中的一个新兴领域，提供了一种针对图结构数据的神经网络模型。本文调研了图转换器研究的最新进展和挑战，从建立概念开始，探索了图转换器的设计观点，进一步提出了基于深度、可扩展性和预训练策略的图转换器分类法，并总结了开发有效图转换器模型的关键原则。除了技术分析，还讨论了图转换器模型在节点级、边级和图级任务中的应用以及在其他应用场景中的潜力。最后，这篇论文还指出了领域中的一些挑战，如可扩展性和效率、泛化能力和鲁棒性、可解释性和可解释性、动态和复杂图形、数据质量和多样性，并为图转换器研究的未来方向进行了展望。
发现论文，激发创造
  • Transformer在图表示学习中真的表现糟糕吗？

    本文通过提出新型图神经网络Graphormer，将标准Transformer框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的OGB Large-Scale Challenge中取得了优异结果，并证明了许多流行的GNN变体可以被Graphormer所覆盖。

    Jun, 2021

  • 面向图表示学习的结构感知Transformer

    本文提出了基于结构感知(Transformers)的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

    Feb, 2022

  • 面向图的Transformer: 从架构层面的概述

    这篇综述性论文详细调查了Transformer模型在图结构数据中的应用。作者们将现有的Transformer模型分为三类，着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面，针对不同类型的图形数据进行了性能对比，实验证实了改进后的Graph Transformer模型在各种图形任务上的优越性。

    Feb, 2022

  • 一种通用、强大、可扩展的图变换器配方

    本研究提出了一种关于如何构建通用、强大、可扩展的图形Transformer的方案，其中包括位置/结构编码、本地消息传递机制、全局注意机制等主要条件，可适用于小规模和大规模图形，并在16项基准测试中取得高竞争力的结果。

    May, 2022

  • 图注意力变换器

    该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

    Feb, 2023

  • 图传播变压器用于图表示学习

    提出一种新的变压器体系结构，名为Graph Propagation Transformer(GPTrans)，利用一种名为Graph Propagation Attention(GPA)的新注意机制，在构建变压器块中的注意模块时，充分考虑了图形中节点和边的信息传递，并在多个基准数据集上验证了其优于许多先进的变压器的性能。

    May, 2023

  • 变压器中的图归纳偏差，无需消息传递

    GRIT是一种新的图形变压器，它不使用消息传递，而是通过相对位置编码、灵活的注意机制和注入每层度信息等结构改变来整合图形感应偏差，并在多个图形数据集上实现了最先进的经验性能。

    May, 2023

  • 大型图形表示中的Transformer简化与授权

    本文旨在提出一个简化的图结构Transformers算法架构(SGFormer)，该架构基于一个简单的attention模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

    Jun, 2023

  • 将Transformer模型作为图到图模型

    我们认为Transformer模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图Transformer架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的Transformer模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

    Oct, 2023

  • 走向基于原理的图变换

    基于k维Weisfeiler-Leman（k-WL）层次结构的图学习架构在理论上具有良好的表达能力。然而，这样的架构通常在实际任务中无法提供可靠的预测性能，限制了它们的实际影响。相比之下，基于全局注意力的图变换器等架构在实践中表现出强大的性能，但是与k-WL层次结构的表达能力进行比较仍具有挑战性，特别是因为这些架构依赖于位置或结构编码来实现其表达能力和预测性能。为了解决这个问题，我们展示了最近提出的边界变换器（Edge Transformer），一种基于节点对而不是节点操作的全局注意力模型，具有至少3-WL的表达能力。在实证上，我们证明了边界变换器相对于其他理论上对齐的架构在预测性能方面的优势，同时不依赖于位置或结构编码。

    Jan, 2024