Jan, 2024
基于拓扑感知的嵌入记忆在扩展图上的学习
Topology-aware Embedding Memory for Learning on Expanding Graphs
Xikun Zhang, Dongjin Song, Yixin Chen, Dacheng Tao
TL;DR基于内存回放技术的研究已经在增量累积欧几里得数据的连续学习中取得了巨大成功。然而，直接将其应用于不断扩大的图表会导致潜在的内存爆炸问题，因为需要缓冲代表节点及其相关的拓扑邻域结构。为了解决这个问题，我们系统地分析了内存爆炸问题中的关键挑战，并提出了一种通用的框架，即参数独立的图神经网络（PDGNNs）与拓扑感知嵌入记忆（TEM），以应对这个问题。该提出的框架不仅将内存空间复杂性从 O (nd^L) 降低到 O (n)，而且还充分利用了拓扑信息进行内存回放。通过解耦可训练参数与计算自我子图之间的关系，PDGNNs 通过拓扑感知嵌入（TEs）将自我子图压缩为紧凑的向量（即 TEs），以减少内存消耗。基于这个框架，我们发现了在不断扩大的图表上连续学习中独特的伪训练效应，并由此激发了我们开发一种新的覆盖率最大化采样策略，可以在紧凑的内存预算下提高性能。深入的实证研究表明，通过解决内存爆炸问题并将拓扑信息与内存回放相结合，PDGNNs 与 TEM 明显优于最先进的技术，特别是在具有挑战性的类增量设置中。