Oct, 2023

关于图神经网络中表达性位置编码的稳定性

PDF
TL;DR设计有效的位置编码对于构建强大的图形变压器和增强消息传递图神经网络至关重要。我们提出了稳定且表达能力强的位置编码（SPE），它是第一个经过验证的稳定架构，同时尊重特征向量的所有对称性，并且至少与现有方法一样具有表达能力，对于基础不变函数非常强大，同时在分子属性预测和超出分布泛化任务上表现出改进的泛化性能。
positional encodingsgraphsgraph transformersmessage-passing graph neural networksstable and expressive positional encodings
发现论文，激发创造
  • 无位置编码的图形变换器

    Eigenformer 通过一种新颖的对 Laplacian 谱意识的注意机制，在一些标准的图神经网络基准数据集上实现了与最先进的 MP-GNN 体系结构和 Graph Transformers 相当的性能，甚至在某些数据集上超越了最先进的方法。此外，我们发现我们的架构在训练速度方面要快得多，可能是由于内在的图归纳偏置。

    Jan, 2024

  • 广义拉普拉斯位置编码用于图表示学习

    本文通过泛化定义拉普拉斯嵌入的优化问题，提出了一族新的图形式的位置编码，并讨论了一种计算这些位置编码的方法，证实了这种新的位置编码可以提高 MPNN 的表述能力，同时给出了初步的实验结果。

    Oct, 2022

  • 谱不变图神经网络的表达能力研究

    使用光谱特征的图神经网络（GNNs）已显示出有希望的结果，但由于特征向量的固有模棱两可性，这提出了一项基本挑战。已经提出了几种架构来解决这种模棱两可性，被称为光谱不变架构。其中几个著名的例子包括使用光谱距离、光谱投影矩阵或其他不变光谱特征的 GNNs 和图变换器。然而，这些光谱不变架构的潜在表达能力仍然不太清楚。本研究的目标是在使用光谱特征时获得深入的理论理解可获得的表达能力。我们首先介绍了一种用于设计光谱不变 GNNs 的统一传递信息框架，称为特征空间投影 GNN（EPNN）。全面的分析表明，EPNN 本质上统一了所有先前的光谱不变架构，因为它们要么严格不可表达，要么与 EPNN 等价。还建立了不同架构之间的细粒度表达层次结构。另一方面，我们证明了 EPNN 本身被一种最近提出的子图 GNNs 类所约束，这意味着所有这些光谱不变架构严格不可表达 3-WL。最后，我们讨论了结合更具表达能力的 GNNs 时是否可以通过使用光谱特征来获得额外的表达能力。

    Jun, 2024

  • 具有可学习的结构和位置表示的图神经网络

    本文提出了一种新的 GNN 网络架构 LSPE，通过引入可学习的位置编码对节点的结构表达和位置表达进行解耦，应用在分子数据集上的实验结果表明 LSPE 能显著提高模型性能。

    Oct, 2021

  • 更强大的图神经网络：等变稳定位置编码

    本文讨论了使用位置编码技术来改进图神经网络在节点集合任务中预测的问题，并提出了一种被称为 PEG 的类 GNN 层，它使用单独的通道更新原始节点特征和位置特征。PEG 同时对原始节点特征施加排列等变性质，并对位置特征施加 O（p）等变性质，其中 p 是使用的位置特征的维度。在 8 个真实世界网络上的广泛链接预测实验表明，PEG 在泛化和可伸缩性方面具有优势。

    Mar, 2022

  • 带扰动位置编码的三维人体姿势估计中的遮挡处理

    利用 PerturbPE 方法，从 eigenbasis 中提取一致且规则的组件来增强模型的鲁棒性和普适性，实验结果在 Human3.6M 数据集上表现出高达 12% 的性能提升，并在缺失两条边的情况下显著改善了性能，创造了新的最先进水平。

    May, 2024

  • 用特征值修正提高谱图神经网络的表达能力

    本论文观察到标准化拉普拉斯矩阵经常具有重复的特征值，因此对多项式滤波器的表达能力产生了限制，并提出了一种特征值校正策略来增强多项式滤波器的拟合能力和表达能力。实验结果表明，该方法在合成和现实世界数据集上具有明显的优势。

    Jan, 2024

  • 代数位置编码

    我们介绍了一种新颖的位置编码策略，用于 Transformer 风格模型，解决了现有方法的不足之处。我们的框架提供了一种灵活的映射，从一个领域的代数规范到正交操作符的解释。该设计保留了源域的代数特性，确保模型满足所需的结构属性。我们的方案可以适应各种结构，包括序列、网格和树形结构，以及它们的组合。我们进行了一系列实验证明我们方法的实际适用性。结果表明，在没有超参数优化或任何 “任务搜索” 的情况下，性能可以达到或超过当前的最新水平。代码将在 github.com/konstantinosKokos/UnitaryPE 上提供。

    Dec, 2023

  • 图形位置结构编码器

    GPSE 是第一个训练图编码器以捕获丰富的位置和结构编码表示来增强任何 GNN 的编码器，其可用于提取图形位置和结构信息的大型预训练模型的开发并突出它们作为明确计算 PSE 和现有的自监督预训练方法的可行替代方案。

    Jul, 2023

  • 拉普拉斯范式化：一种最简化标志和基础不变性谱嵌入的方法

    我们提出了一种轻量级的预处理方法，叫做 Laplacian Canonization (LC)，通过直接找到特征向量的规范方向来解决问题，该方法适用于任何现有的 GNNs，并且发现了一种高效的算法，称为 Maximal Axis Projection (MAP)，这两者可以成功使超过 90% 的特征向量规范化。在实际数据集上的实验证明 MAP 方法在带来最小计算负荷的同时，持续优于现有方法。

    Oct, 2023