NAR-Former V2：重新思考 Transformer 的通用神经网络表示学习

Jun, 2023

NAR-Former V2：重新思考 Transformer 的通用神经网络表示学习

NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning

Yun Yi, Haokui Zhang, Rong Xiao, Nannan Wang, Xiaoyu Wang

TL;DR本文提出了一种改进的基于 Transformer 的神经网络表示学习模型 NAR-Former V2，可以从细胞结构网络和整个网络中学习出高效的表示方法，并通过实验证明了其在学习图结构表示方面的能力比基于 GNN 方法 NNLP 更加优越。

Abstract

As more deep learning models are being applied in real-world applications, there is a growing need for modeling and learning the representations of neural networks themselves. An efficient representation can be used to predict target attributes of networks without the need for actual t

deep learning transformer graph neural network representation learning neural network

发现论文，激发创造

NAR-Former: 面向整体属性预测的神经架构表示学习

该论文提出了基于神经网络架构表示模型的多阶段融合变压器，可用于估计神经网络结构的精确度和延迟，并展示了其在各种神经网络和单个 cell 结构的实用性和良好性能。

Nov, 2022

Transformer 相遇神经算法推理者

使用 Transformer 的语言理解和图神经网络（GNN）的鲁棒性，我们提出了一种新的方法，将 Transformer 与基于神经算法推理器（NARs）的图算法进行结合，以解决算法推理方面的问题。经过评估，在算法推理方面，我们的结果表明 TransNAR 模型在 CLRS-Text 上相较于仅使用 Transformer 模型，能够获得显著的提升。

Jun, 2024

通用图形 Transformer 自注意力网络

本文介绍了一种基于 Transformer 的 GNN 模型，叫做 UGformer，用于学习图表示。UGformer 有两个变体，第一个变体利用 Transformer 对每个输入节点的一组采样邻居进行编码，第二个变体利用 Transformer 对所有输入节点进行编码。实验结果表明，第一个变体在归纳和非监督转导设置下实现了基准数据集上的最新最准确统计，第二个变体在归纳文本分类中获得了最高准确率。

Sep, 2019

预训练图循环网络用于语言表示

本研究提出了一种基于图循环网络的语言模型预训练方法，其在性能、效率和生成多样性方面优于基于注意力机制的 Transformer，用于自监督学习的时候有较高的潜力。

Sep, 2022

GraphFormers: 融合 GNN 和 Transformer 的文本图卷积神经网络表示学习

本文提出了一种基于文本图的表示学习方法 GraphFormers，该方法将语言模型的 Transformer 块与图神经网络嵌套在一起，将文本编码和图聚合融合到迭代的工作流程中，从全局视角准确地理解每个节点的语义。通过在三个大规模基准数据集上的广泛评估，GraphFormers 比 SOTA 基准模型具有相当的运行效率。

May, 2021

图形转换器用于图形到序列学习

本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

Nov, 2019

一种将 Transformer 网络泛化至图形数据的方法

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020

通过全局和局部关系交互进行欺诈检测

关系感知图神经网络与变形器网络结合，同时将本地和全局特征嵌入目标节点，通过注意力融合模块和跳跃连接将全局嵌入与本地嵌入合并，在两个公共数据集和一个工业数据集上验证了其卓越性能。

Feb, 2024

GTC：GNN-Transformer 自监督异构图表示的共同对比学习

提出了一种结合 GNN 和 Transformer 的新框架，利用 GNN 的局部信息汇聚和 Transformer 的全局信息建模能力解决过度平滑问题，构建了 GTC 体系结构，通过对跨视图信息进行自我监督的对比学习任务实现异构图形表示学习。

Mar, 2024

Transformer 在图表示学习中真的表现糟糕吗？

本文通过提出新型图神经网络 Graphormer，将标准 Transformer 框架与多种简单的结构编码方法相结合，成功优化图结构数据的表示学习，特别是在最近的 OGB Large-Scale Challenge 中取得了优异结果，并证明了许多流行的 GNN 变体可以被 Graphormer 所覆盖。

Jun, 2021