Feb, 2024

Todyformer：面向全面的动态图卷积网络和结构感知分词

PDF
TL;DRTemporal Graph Neural Networks 和 Transformers 结合，提出了一种用于动态图的新型 Transformer-based 神经网络 Todyformer，它通过将 MPNNs 的局部编码能力与 Transformers 的全局编码能力相结合来改善性能限制，并通过时间位置编码捕捉长距离依赖关系，实验证明在公共基准数据集上 Todyformer 在下游任务中 consistently 超过了最先进方法，并且在捕获动态图中广泛的时间依赖关系方面具有有效性。
temporal graph neural networkstransformerstodyformerdynamic graphslong-range dependencies
发现论文，激发创造
  • TodyNet：用于多元时序分类的时间动态图神经网络

    提出了一种新的基于深度学习的多元时间序列分类 (TodyNet) 方法，该方法可以提取隐含的时空依赖关系，通过动态图机制捕获不同时间段之间的关联，同时可利用可学习的时间参数获取全局图级表示，实现了端到端的联合学习，实验结果表明，该方法在 MTSC 任务中优于现有深度学习方法。

    Apr, 2023

  • Heterformer：一种用于异构文本网络节点表征学习的 Transformer 架构

    本文提出了一种名为 Heterformer 的异构图神经网络 - 嵌套变形器，能够融合图神经网络和预训练语言模型来进行节点表示学习，实验结果证明其在链接预测、节点分类、节点聚类以及语义检索方面都优于现有的基准模型。

    May, 2022

  • Transformers 高效分层化化学图学习器

    SubFormer 是一种图变换器，通过消息传递机制对子图进行操作，减少了标记数量，增强了学习长距离交互的能力。在预测分子属性和化学结构方面，SubFormer 与最先进的图变换器相比，在计算成本的一小部分情况下保持着竞争力，并且在消费级显卡上进行训练的时间仅为几分钟。我们通过对化学结构的注意权重进行解读，展示了 SubFormer 表现出有限的过度平滑和避免了传统图神经网络常见的过度压缩问题。

    Oct, 2023

  • DyTox：使用动态令牌扩展的 Transformers 进行持续学习

    提出了一种基于 Transformer 架构和共享编码器 / 解码器框架的策略，采用动态扩展特殊标记以使解码器网络适用于任务分布，从而在大数据集上取得优异结果，且不需要超参数调整。

    Nov, 2021

  • 学习参数化哈密顿系统的结构保持变压器

    使用基于 Transformer 的神经网络来学习复杂的非线性动态系统，并为其赋予保持结构的特性以提高长期稳定性的工作，在实际应用中被证明非常重要。

    Dec, 2023

  • 动态图消息传递网络用于视觉识别

    本论文提出了一种动态图消息传递网络，用于进行长程依赖性建模，以用于图像识别。该网络采用自适应抽样节点的方法，在传递信息时动态地预测节点相关过滤器权重和关联矩阵，以实现对自我注意机制的设计。研究结果表明，基于该模型的 Transformer 骨干网络在图像分类和物体检测等四种不同任务上，相对于现有的最先进技术，能够显著提升性能，同时性能优于完全连接的图并使用更少的浮点运算和参数。

    Sep, 2022

  • 基于 Transformer 的动态图异常检测

    本文提出了一种用于动态图的基于 Transformer 的异常检测框架 (TADDY)，通过建立全面、信息丰富的节点编码策略和捕捉动态图的时空耦合模式进行节点的异常检测，该方法在六个真实世界数据集上表现优于现有的最先进方法。

    Jun, 2021

  • NodeFormer: 用于节点分类的可扩展图结构学习变压器

    本文提出了一种基于新的所有对消息传递机制和核化 Gumbel-Softmax 算子的节点分类网络，名叫 NodeFormer，特别针对处理大规模图中的长距离依赖、边的不完整性等问题提出了解决方案，并在多项实验中验证了其有效性。

    Jun, 2023

  • 子图形转化器：通过图产品统一子图图神经网络与图变形器

    本文提出了一个结合 Subgraph GNNs 和 Graph Transformers 的架构，名为 Subgraphormer，通过将 Subgraph GNNs 的增强表达能力、消息传递机制和聚合方案与 Graph Transformers 中最重要的组件 —— 注意力机制和位置编码相结合。我们的方法基于 Subgraph GNNs 和自身的图像乘积之间的新联系，将 Subgraph GNNs 表述为在图像乘积上操作的 Message Passing Neural Networks (MPNNs)。我们利用这种表述设计了我们的架构：首先，我们设计了一个基于图像乘积的连接性的注意力机制。其次，我们提出了一种新颖高效的 Subgraph GNNs 位置编码方案，将其推导为图像乘积的位置编码。我们的实验结果显示，在广泛的数据集上，相比于 Subgraph GNNs 和 Graph Transformers，我们的方法显著提升了性能。

    Feb, 2024

  • 带有动态图卷积解码器的神经机器翻译

    本文提出了一种从结构输入到结构输出的端到端翻译架构，其中联合建模和生成目标翻译及其相应的句法图。我们设计了一个自适应动态时空图卷积解码器（Dyn-STGCD），它可以消费源功能表示及其句法图，并同时自回归生成目标句法图和令牌。我们在五个广泛认可的翻译基准测试中进行了大量实验，验证了我们的提议相对于基线和其他语法感知变体的一致改进。

    May, 2023