Aug, 2023

Transformer 和 GNN 能互助吗？

PDF
TL;DR在这篇论文中，我们提出了一种名为 TransGNN 的新模型，其中 Transformer 层和 GNN 层交替使用以相互改进。我们利用 Transformer 来聚合更相关的节点信息以改善 GNNs 的消息传递，并利用位置编码和 GNN 层将图结构融入节点属性中，改善 Transformer 在图数据中的表现。通过理论证明，我们证明了 TransGNN 相对于仅具有额外线性复杂度的 GNNs 更具表达力。在八个数据集上的实验证实了 TransGNN 在节点和图分类任务上的有效性。
transformergnnsgraph representation learningtransgnnnode and graph classification
发现论文，激发创造
  • GTC：GNN-Transformer 自监督异构图表示的共同对比学习

    提出了一种结合 GNN 和 Transformer 的新框架，利用 GNN 的局部信息汇聚和 Transformer 的全局信息建模能力解决过度平滑问题，构建了 GTC 体系结构，通过对跨视图信息进行自我监督的对比学习任务实现异构图形表示学习。

    Mar, 2024

  • 语言和图神经网络模型的高效有效训练

    本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 产品的应用中提供了有竞争力的结果。

    Jun, 2022

  • 图变换网络

    本论文提出了一种名为 GTNs 的图转换器网络，能够在图上进行节点表示的学习，同时生成新的图结构以及识别原始图上未连接点之间有用的连接。实验表明，GTNs 有效地生成新的图结构，通过卷积在新图上产生具有强大表现力的节点表示，并在三个基准节点分类任务中取得了最佳表现。

    Nov, 2019

  • 计算机视觉中的图神经网络和图变换器综述：以任务为导向的视角

    本研究在任务导向的角度下，综述了 GNN 与图 Transformer 在计算机视觉中的应用，根据输入数据的特征分为五个类别，并根据视觉任务，详细讨论了该问题所使用的不同基于 GNN 的方法、表现、挑战和未来方向。

    Sep, 2022

  • CNN2GNN：如何将 CNN 与 GNN 连结

    基于卷积神经网络（CNN）和图神经网络（GNN）的互补优势和弱点，本文提出了一种新颖的 CNN2GNN 框架，通过知识蒸馏将 CNN 和 GNN 结合起来。

    Apr, 2024

  • 多模态问答的多模态图形转换器

    本文提出一种多模态图变换器，它利用了文本和视觉数据的多模态信息，并通过结构化学习和图神经网络的方法对自注意力进行约束以提高推理能力，适用于需要跨多个模态执行推理的问题回答任务。我们通过在 GQA，VQAv2 和 MultiModalQA 数据集上进行实验来验证这种方法的有效性，表明多模态图变换器优于 Transformer 模型基线。

    Apr, 2023

  • GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

    本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

    May, 2021

  • 通过全局和局部关系交互进行欺诈检测

    关系感知图神经网络与变形器网络结合，同时将本地和全局特征嵌入目标节点，通过注意力融合模块和跳跃连接将全局嵌入与本地嵌入合并，在两个公共数据集和一个工业数据集上验证了其卓越性能。

    Feb, 2024

  • Transformer 在图表示学习中真的表现糟糕吗？

    本文通过提出新型图神经网络 Graphormer，将标准 Transformer 框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果，并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。

    Jun, 2021

  • 释放 Transformer 在图形任务中的能力

    本研究提出了一种名为 DET 的新型 Transformer 架构，采用结构编码器聚合连接邻居的信息和语义编码器聚焦于远距离节点，通过自监督训练寻找所需的远距离邻居，比使用多跳邻居的方法更为优越。实验结果表明，DET 在处理分子、网络和各种规模的知识图谱方面比对应的最新方法具有更优越的性能表现。

    Feb, 2022