Feb, 2024

图值 $K$ 个文字：使用纯 Transformer 对图进行欧几里得化

PDF
TL;DR我们引入了 GraphsGPT，该模型具有将非欧几里德图转换为学习可表示为欧几里德空间中可学习图词的 Graph2Seq 编码器以及从图词重构原始图以确保信息等价性的 GraphGPT 解码器。我们对 1 亿个分子进行预训练，得出了一些有趣的发现：(1) 预训练的 Graph2Seq 在图表示学习方面表现出色，在 8/9 个图分类和回归任务上取得了最先进的结果。(2) 预训练的 GraphGPT 作为一种强大的图生成器，它能够进行无条件和有条件的图生成。(3) Graph2Seq+GraphGPT 在欧几里德空间中实现了有效的图混合，克服了以前已知的非欧几里德挑战。(4) 我们提出的新型边缘中心 GPT 预训练任务在图领域中非常有效，强调了它在表示和生成方面的成功。
non-euclidean graphsgraph modelinggraphsgptgraph representation learninggraph generation
发现论文，激发创造
  • 无纯元素的 Transformer 是强大的图学习器

    本文提出了一种名为 Tokenized Graph Transformer（TokenGT）的新颖神经网络，它可以用于大规模图形学习，通过节点和边的独立表示进行转换，并且通过合适的 token 嵌入，TokenGT 可以在理论上至少与由等变线性层组成的不变图网络（2-IGN）一样有潜力进行表现，实践中，TokenGT 在大规模图形数据集（PCQM4Mv2）上的表现不仅优于基于消息传递的图神经网络（GNN）基线，而且与具有复杂图特定归纳偏差的变型 Transformer 相比也具有竞争力。

    Jul, 2022

  • 图形转换器用于图形到序列学习

    本文提出了一种名为 “图变压器” 的模型，使用显式关系编码并允许两个远程节点之间的直接通信。与局部邻域信息交换的图神经网络不同，它提供了一种更有效的全局图结构建模方式，并在抽象意义表示文本生成和基于句法的神经机器翻译应用中表现出优异的性能。

    Nov, 2019

  • GraphGPT：使用生成式预训练 Transformer 进行图学习

    我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

    Dec, 2023

  • 文本属性图上的纯 Transformer 预训练框架

    图序列预训练框架 GSPT 利用统一的文本表示，在图领域中取得了显著的可转移性和实证成功。

    Jun, 2024

  • 使用图形 transformer 从知识图谱生成文本

    本文介绍了一种新型图形转换编码器，可处理知识图谱等非层次性图形的内容，应用于科学文本领域的图 - 文本生成，评价结果表明，该技术可以产生比竞争的编码解码方法更具信息量且结构更好的文本。

    Apr, 2019

  • 将 Transformer 模型作为图到图模型

    我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

    Oct, 2023

  • GraphiT：在 Transformers 中编码图结构

    本文提出了一种名为 GraphiT 的模型，将结构和位置信息融入到变换器体系结构中，以解决图像分类和回归等任务，并通过相对位置编码策略中的正定核和枚举和编码短路径等方法来实现，表现比传统方法更好。此外，该模型还具有解释和可视化图像的特点，有望成为解释性较强、科学应用领域中的潜在强大候选者。

    Jun, 2021

  • 曲率聚焦：用于图形表示学习的混合曲率 Transformer

    我们提出了一种基于全曲率空间的完全产品百叶窗变换器，结合了 tokenized 图变压器，通过端到端的方式学习适合输入图的曲率，以及一种核化的非欧几里得注意方法，实现了线性时间和内存成本与节点和边的数量成线性关系的模型在非欧几里得域的功能扩展。实验结果表明将变形器推广到非欧几里得域的好处。

    Sep, 2023

  • 一种将 Transformer 网络泛化至图形数据的方法

    本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

    Dec, 2020

  • 无位置编码的图形变换器

    Eigenformer 通过一种新颖的对 Laplacian 谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的 MP-GNN 体系结构和 Graph Transformers 相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。

    Jan, 2024