Aug, 2023

使用分层距离捕获多级图结构的变压器

PDF
TL;DR本文提出了一种层次距离结构编码（HDSE）方法，用于加强现有图变换器，同时应用于其他位置表示，通过在图中的节点之间建模层次距离来捕捉图的多层次、分层结构，通过在 12 个真实世界数据集上的实验证明，我们的 HDSE 方法成功地提升了各种类型的基准变换器，在 10 个基准数据集上获得了最先进的实证性能。
发现论文，激发创造
  • 释放 Transformer 在图形任务中的能力

    本研究提出了一种名为 DET 的新型 Transformer 架构，采用结构编码器聚合连接邻居的信息和语义编码器聚焦于远距离节点，通过自监督训练寻找所需的远距离邻居，比使用多跳邻居的方法更为优越。实验结果表明，DET 在处理分子、网络和各种规模的知识图谱方面比对应的最新方法具有更优越的性能表现。

    Feb, 2022

  • 循环距离编码神经网络用于图表示学习

    通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。

    Dec, 2023

  • 可扩展图学习的分层 Transformer

    本文介绍了一种名为 HSGT 的层级可伸缩图变换器，通过利用层次结构和基于采样的训练方法，高效地更新和存储多尺度信息，并使用 Transformer 块有效地捕获和聚合多级信息以实现节点表征学习任务在大规模图上的高性能表现。

    May, 2023

  • 语言模型作为层次编码器

    利用超几何空间重新训练语言模型中的分层转换器编码器（Hierarchy Transformer encoders，HiTs），为回归语言模型中隐含的分层结构提供了一种新的方法，通过聚类与层级组织相关实体来提高在推论、预测和跨层次知识传递等任务中的性能和可转移性。

    Jan, 2024

  • 超图变换器用于半监督分类

    通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

    Dec, 2023

  • 有向无环图上的 Transformer

    本篇论文研究了如何在 Transformer architecture 中注入图形结构偏差以更好地处理基于有向无环图的数据，包括构思了一个有效的注意机制来捕捉 DAG 的结构并提出了一种部分顺序的位置编码方法。作者在实验中证明了这个框架能够改善各种基线 transformers 的效果并使图 transformers 竞争力更强。

    Oct, 2022

  • 拓扑指导的超图变换网络：揭示结构洞察以改进表示

    提出了一种拓扑引导的超图变换网络，通过保留结构本质学习图中的高阶关系，设计了简洁而有效的结构和空间编码模块将节点的拓扑和空间信息融入其表示，并提出了一种结构感知的自注意机制，从语义和结构角度发现重要节点和超边。实验证明，所提模型在节点分类任务上的性能始终优于现有方法。

    Oct, 2023

  • 图形位置结构编码器

    GPSE 是第一个训练图编码器以捕获丰富的位置和结构编码表示来增强任何 GNN 的编码器，其可用于提取图形位置和结构信息的大型预训练模型的开发并突出它们作为明确计算 PSE 和现有的自监督预训练方法的可行替代方案。

    Jul, 2023

  • 异质图变换器

    本文介绍了一种用于建模 Web 规模异构图的异构图转换器架构（HGT），通过设计基于节点类型和边类型的参数来实现异构性，并引入相对时间编码技术和异构迷你批图采样算法来处理动态异构图数据，实验表明，所提出的 HGT 模型在各种下游任务中始终优于所有最先进的 HNN 基线 9％至 21％。

    Mar, 2020

  • HT-Net：用于多尺度 PDE 的层次 Transformer 操作学习模型

    本文介绍了一种层次转换器方案，用于高效地学习多尺度 PDE 的解算子，通过自注意力和 H^1 损失函数，实现了对多尺度解空间的编码和解码，并在数值实验中展示了与最先进方法相比的优越性。

    Oct, 2022