有向无环图上的 Transformer

Oct, 2022

Transformers over Directed Acyclic Graphs

Yuankai Luo, Veronika Thost, Yicheng Pan, Lei Shi

TL;DR本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据，包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。

Abstract

transformer models have recently gained popularity in graph representation learning as they have the potential to learn complex relationships beyond the ones captured by regular graph neural networks. The main research question is how to inject the structural bias of graphs into the tr

transformer models graph representation learning directed acyclic graphs attention mechanism positional encoding

发现论文，激发创造

有向无环图神经网络

本文提出了一种基于 partial ordering 的神经网络结构 --DAGNN，该结构在 DAG 数据集上的表现优于先前的 DAG 结构和通用图形结构。

Jan, 2021

图注意力变换器

该研究提出了一种图形变换器结构的分类体系，展示了其在分子预测等方面的潜力，探究了其在处理异质性图形及防止过多压缩等方面的效果，并提供了未来研究的方向和挑战。

Feb, 2023

有向无环图上的卷积学习

我们开发了一种新颖的卷积结构，专门用于从有向无环图 (DAGs) 的数据中学习。通过 DAGs，我们可以建模变量之间的因果关系，但它们的幂零邻接矩阵给开发 DAG 信号处理和机器学习工具带来了独特挑战。为了解决这个限制，我们利用了近期的进展，提供了 DAG 上信号的因果转变和卷积的备选定义。我们开发了一种新颖的卷积图神经网络，集成了可学习的 DAG 滤波器，以考虑图拓扑引起的部分排序，从而为学习 DAG 支持数据的有效表示提供了有价值的归纳偏见。我们讨论了所提出的 DAG 卷积网络（DCN）的显著优势和潜在限制，并使用合成数据在两个学习任务中评估其性能：网络扩散估计和源识别。DCN 相对于几个基线表现出有利的比较，展示了它的潜力。

May, 2024

面向图表示学习的结构感知 Transformer

本文提出了基于结构感知 (Transformers) 的新自注意力机制和子图表示方法，以提高图表示学习和预测的性能，相关模型在五个图预测基准测试中达到了最优结果。

Feb, 2022

一种将 Transformer 网络泛化至图形数据的方法

本文提出了一种用于任意图的变形器神经网络结构，在注意力机制中使用了邻域连接性，用拉普拉斯特征向量代替位置编码，使用批量归一化层代替层归一化，支持边特征表示。实验表明，该结构的性能优于传统的 transformer 模型。

Dec, 2020

面向图的 Transformer: 从架构层面的概述

这篇综述性论文详细调查了 Transformer 模型在图结构数据中的应用。作者们将现有的 Transformer 模型分为三类，着重探究了辅助模块、基于图的位置嵌入和改进的注意力矩阵等方面，针对不同类型的图形数据进行了性能对比，实验证实了改进后的 Graph Transformer 模型在各种图形任务上的优越性。

Feb, 2022

基于图的 Transformer 模型：注意力机制是否足够？

提出了一种基于 Transformer 的 GRAP-Aware Transformer（GRAT）神经网络模型，利用自注意机制自适应地处理整个图的编码和解码，经过多种实验验证，其在 QM9 数据集的分子属性预测等任务上表现出了领先水平。

Jun, 2020

D-VAE：一种用于有向无环图的变分自编码器

该研究论文介绍了一种基于深度生成模型的有向无环图变分自编码器，利用图神经网络异步消息传递编码 DAG 的计算，达到了搜索性能更好的 DAG 的目的，并在神经网络结构搜索和贝叶斯网络结构学习等任务中证明了其有效性。

Apr, 2019

将 Transformer 模型作为图到图模型

我们认为 Transformer 模型本质上是图到图的模型，序列只是一种特殊情况。注意力权重在功能上等价于图中的边。我们的图到图 Transformer 架构明确地表达了这个能力，通过将图的边作为输入用于注意力权重计算，并使用类似于注意力的函数预测图中的边，从而将显式图集成到预训练的 Transformer 模型中学习出的潜在图中。添加迭代的图优化过程提供了输入、输出和潜在图的联合嵌入，使得非自回归图预测能够优化完整图，无需任何专门的流水线或解码策略。实证结果表明，该架构在对各种语言结构建模方面取得了最先进的准确性，与预训练学习的潜在语言表示非常有效地集成在一起。

Oct, 2023

上下文定向无环图

通过将上下文特征映射到加权邻接矩阵上的有向无环图（DAG），并利用具有新颖投影层的神经网络，我们提出了一种处理上下文 DAG 问题的方法，该方法确保输出矩阵稀疏并满足无环性质的最近发展算法，并为学习上下文 DAG 提供了可伸缩的计算框架，同时提供了收敛保证和反向传播投影层的解析梯度。实验结果表明，这种新方法可以在现有方法失败的情况下恢复真实的上下文特定图。

Oct, 2023