Jun, 2024
一种可扩展和有效的图变换器替代方案
A Scalable and Effective Alternative to Graph Transformers
TL;DR图神经网络（GNN）在图表示学习方面表现出色，但由于其有限的表达能力，它们在捕捉长程依赖性方面面临挑战。为了解决这个问题，引入了图转换器（GTs），利用自注意机制来有效地建模成对的节点关系。尽管具有这些优势，GTs在图中节点数目的平方复杂度方面存在问题，限制了其在大图上的应用。在这项研究中，我们提出了一种可扩展且有效的替代GTs的方法，称为图增强的上下文运算符（GECO），它利用邻域传播和全局卷积，在几乎线性时间内有效地捕捉局部和全局依赖性。我们在合成数据集上的研究结果表明，相对于优化的注意力模型，GECO在具有2M个节点的图上实现了169倍的加速。对各种基准测试的进一步评估显示，GECO在传统的GTs面临内存和时间限制的大图上具有可扩展性。值得注意的是，GECO始终实现了与基准模型相当或更好的质量，提高了最先进技术的性能高达4.5％，为大规模图学习提供了可扩展且有效的解决方案。