利用对比学习提升令牌化图变换器中节点表示

Jun, 2024

利用对比学习提升令牌化图变换器中节点表示

Leveraging Contrastive Learning for Enhanced Node Representations in Tokenized Graph Transformers

Jinsong Chen, Hanpeng Liu, John E. Hopcroft, Kun He

TL;DR提出了一种名为 GCFormer 的新型图形变压器，该模型使用混合令牌生成器来捕捉多样性图形信息的两种类型的令牌序列，并采用定制的基于变压器的骨干结构从这些生成的令牌序列中学习有意义的节点表示。并且，GCFormer 引入了对比学习来从正负令牌序列中提取有价值的信息，提高了学习到的节点表示的质量。在各种数据集上进行的大量实验结果表明，与代表性的图神经网络（GNNs）和图形变压器相比，GCFormer 在节点分类方面具有优势。

Abstract

While tokenized graph transformers have demonstrated strong performance in node classification tasks, their reliance on a limited subset of nodes with high similarity scores for constructing token sequences overl

tokenized graph transformers gcformer node classification graph information contrastive learning

发现论文，激发创造

GTC：GNN-Transformer 自监督异构图表示的共同对比学习

提出了一种结合 GNN 和 Transformer 的新框架，利用 GNN 的局部信息汇聚和 Transformer 的全局信息建模能力解决过度平滑问题，构建了 GTC 体系结构，通过对跨视图信息进行自我监督的对比学习任务实现异构图形表示学习。

Mar, 2024

NTFormer：一种用于节点分类的复合节点标记图注意力转换器

通过引入名为 Node2Par 的新型令牌生成器，NTFormer 提出了一种新的图变换器，允许从不同的角度生成有价值的令牌序列，确保对丰富的图特征进行全面表达，并在各种基准数据集上进行了广泛的实验，证明了 NTFormer 在节点分类中的优越性。

Jun, 2024

无纯元素的 Transformer 是强大的图学习器

本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

Jul, 2022

Transformers 高效分层化化学图学习器

SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

Oct, 2023

NodeFormer: 用于节点分类的可扩展图结构学习变压器

本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

Jun, 2023

大型图形表示中的 Transformer 简化与授权

本文旨在提出一个简化的图结构 Transformers 算法架构 (SGFormer)，该架构基于一个简单的 attention 模型，可在处理大规模图结构时实现高效信息传播，同时在节点属性预测基准测试中取得了出色的表现。

Jun, 2023

AGFormer: 锚点图变换器实现高效图表示

本研究提出了一种新的图形 Transformer 架构，称为 Anchor Graph Transformer（AGFormer），通过利用锚图模型将节点到节点的消息传递转换为锚到锚和锚到节点的消息传递过程，从而比常规节点到节点的 Transformer 更高效且更具鲁棒性。

May, 2023

生成对比异构图神经网络

通过利用自监督学习，我们提出了一种新颖的生成对比异构图神经网络 (GC-HGNN)，并且在结点分类和链接预测任务中显著超越最新的对比和生成基线模型。

Apr, 2024

基于对比学习的节点表征简化框架

本文研究如何将对比学习与图神经网络相结合，通过简单的列处理嵌入矩阵来提高节点嵌入的质量，从而在分类任务中取得高达 1.5％的改进和超越 8 项基准测试中的现有最先进方法。

May, 2023

使用 Transformer 进行对比分组的指向图像分割

在本文中，我们提出了一种使用对比式分组和 Transformer 网络 (CGFormer) 的掩模分类框架，通过基于令牌的查询和分组策略来明确捕捉对象级信息。CGFormer 通过交替查询语言特征并将视觉特征分组到查询令牌中进行对象感知的跨模态推理，最终通过对比学习来确定与参考对象对应的令牌及其掩模，实验结果显示 CGFormer 在分割和泛化设置中始终明显优于最先进的方法。

Sep, 2023