Feb, 2024

子图形转化器：通过图产品统一子图图神经网络与图变形器

PDF
TL;DR本文提出了一个结合 Subgraph GNNs 和 Graph Transformers 的架构，名为 Subgraphormer，通过将 Subgraph GNNs 的增强表达能力、消息传递机制和聚合方案与 Graph Transformers 中最重要的组件 —— 注意力机制和位置编码相结合。我们的方法基于 Subgraph GNNs 和自身的图像乘积之间的新联系，将 Subgraph GNNs 表述为在图像乘积上操作的 Message Passing Neural Networks (MPNNs)。我们利用这种表述设计了我们的架构：首先，我们设计了一个基于图像乘积的连接性的注意力机制。其次，我们提出了一种新颖高效的 Subgraph GNNs 位置编码方案，将其推导为图像乘积的位置编码。我们的实验结果显示，在广泛的数据集上，相比于 Subgraph GNNs 和 Graph Transformers，我们的方法显著提升了性能。
graph neural networkssubgraph gnnsgraph transformerssubgraphormermessage-passing mechanisms
发现论文，激发创造
  • Transformer 在图表示学习中真的表现糟糕吗？

    本文通过提出新型图神经网络 Graphormer，将标准 Transformer 框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果，并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。

    Jun, 2021

  • Transformers 高效分层化化学图学习器

    SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

    Oct, 2023

  • 通过图乘积和图粗化实现灵活的对称子图 GNN 框架

    基于子图的图神经网络（Subgraph GNNs）通过将图表示为子图集合来增强信息传递式图神经网络的表达能力，并引入了新的子图 GNN 框架以解决性能限制和子图选择问题。通过控制粗化函数，实现了对任意数量子图的有意义选择，并将其与标准训练技术兼容。实验证明，该方法比基线方法更加灵活，在处理任意数量子图时表现出更好的性能。

    Jun, 2024

  • Gophormer: 基于自我图转换器的节点分类

    提出了一种基于 ego-graphs 的 Gophormer 模型，将 transformer 应用于节点分类任务，通过邻域采样缓解了规模问题，并采用 proximity-enhanced attention 机制捕捉节点间的结构偏差，通过一致性规则和多样本推理策略稳定训练和测试。Gophormer 在六个基准数据集上的实验表明了其超越了现有的图转换器和热门的 GNN，并揭示了图转换器的未来发展前景。

    Oct, 2021

  • GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

    本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

    May, 2021

  • 通用图形 Transformer 自注意力网络

    本文介绍了一种基于 Transformer 的 GNN 模型，叫做 UGformer，用于学习图表示。UGformer 有两个变体，第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，第二个变体利用 Transformer 对所有输入节点进行编码。实验结果表明，第一个变体在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计，第二个变体在归纳文本分类中获得了最高准确率。

    Sep, 2019

  • 网格 Graphormer

    本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

    Apr, 2021

  • 子图神经网络

    使用 SubGNN 模型对含有多个离散链接的生物医学数据集上的子图进行预测任务，通过神经路由机制，网络能够学习分离的子图表示，其中指定了三个信道以捕捉子图拓扑的不同方面，并在 8 个子图分类数据集上以及具有复杂拓扑结构和多个未连接组件的具有挑战性的生物医学数据集上优于基线模型 19.8%。

    Jun, 2020

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • Heterformer：一种用于异构文本网络节点表征学习的 Transformer 架构

    本文提出了一种名为 Heterformer 的异构图神经网络 - 嵌套变形器，能够融合图神经网络和预训练语言模型来进行节点表示学习，实验结果证明其在链接预测、节点分类、节点聚类以及语义检索方面都优于现有的基准模型。

    May, 2022