连续图学习(CGL)旨在用以流式传入的图数据不断更新图模型。本论文提出了一种名为 “Condense and Train (CaT)” 的框架来解决 CGL 中存在的数据不平衡和历史分布近似问题,通过对新来的图进行精简并将其存入 “Condensed Graph Memory” 中,最终通过 “Training in Memory” 方案来直接更新模型。在四个基准数据集上进行的广泛实验成功证明了所提出的 CaT 框架在效果和效率上的优越性。
Sep, 2023
本文提出了一种新的重放式连续学习策略 OLCGM,使用知识压缩技术持续压缩记忆并更好地利用其有限的内存大小,取得了比现有重放策略更高的最终准确性。
Jun, 2022
我们提出了一种针对图学习中的灾难性遗忘问题的方法,在数据从一个图分布过渡到另一个图分布时,通过维持图的局部和全局结构一致性的排练机制来保持对过去任务的知识,并在实际图数据集中与各种持续学习基线进行了性能评测,取得了平均性能和任务遗忘方面的显著改进。
Aug, 2023
连续图学习研究了从无限的图数据流中学习的问题,将历史知识整合并推广到未来的任务。在当前只有当前的图数据可用。本文提出了一种关系感知自适应模型,并说明了图边缘后面的潜在关系可以被归因为不变因素。通过实验证明,该模型在 CitationNet、OGBN-arxiv 和 TWITCH 数据集上相对于现有方法分别提高了 2.2%、6.9% 和 6.6% 的准确度。
提出了一种基于拓扑感知的图粗化与持续学习框架,该框架通过将先前任务的信息存储为精简图,在每个时间段通过与新图结合并对齐共享节点来扩展精简图,并通过缩减过程进行稳定大小的 “缩小”,实验证明了该框架在三个真实数据集上使用不同的骨干 GNN 模型的有效性。
Jan, 2024
图神经网络 (GNNs) 在处理大规模图时遇到了显著的计算挑战,这严重限制了它们在各种应用中的效力。为了解决这个限制,图压缩成为一种有前景的技术,它构建一个小的合成图以有效地训练 GNNs 并保持性能。然而,由于节点之间的拓扑结构,图压缩仅限于压缩观测训练节点及其相应的结构,因此缺乏处理未见数据的能力。因此,在推理阶段仍需要原始大图进行信息传递,导致了大量的计算需求。为了解决这个问题,我们提出了映射感知的图压缩 (MCond),明确学习原始节点到合成节点的一对多映射,以无缝地将新节点整合到合成图中进行归纳表示学习。这使得直接在合成图上进行信息传播比在原始大图上更高效。具体而言,MCond 采用了交替优化方案,具有来自传统的和归纳的角度的创新损失项,促进了图压缩和节点映射学习之间的相互促进。大量实验证明了我们方法在归纳推理中的有效性。在 Reddit 数据集上,与基于原始图的对照方法相比,MCond 在推理速度上实现了高达 121.5 倍的加速和 55.9 倍的存储需求降低。
Jul, 2023
通过 Class-partitioned Graph Condensation (CGC) 方法,能够在更有效的压缩过程中实现最先进的性能。
May, 2024
本文调研了图结构数据上持续学习的问题,并介绍了持续图学习的基本概念及其面临的挑战,分析了最新的面向持续图学习问题的方法,并探讨了现有方法的主要问题和可能的解决方案以及持续图学习的未来研究方向和应用前景。
Jan, 2023
本文提出一种基于持续学习的流式 GNN 模型,通过信息传播和数据重放与模型正则化相结合,实现了对新模式和既有模式的同时维护,解决了历史知识被新知识覆盖的灾难性遗忘问题。在多个实验数据集上的节点分类结果表明,该模型能有效地更新模型参数并达到与重新训练相当的性能。
Sep, 2020
对图形凝聚进行了全面而深入的研究,提出了 GC 的四个关键评估标准,并详细讨论了优化策略和凝聚图生成这两个关键组成部分,同时介绍了 GC 在各领域的应用和未来研究中的挑战与观点。