通过参数隔离在动态图上进行持续学习

May, 2023

通过参数隔离在动态图上进行持续学习

Continual Learning on Dynamic Graphs via Parameter Isolation

Peiyan Zhang, Yuchen Yan, Chaozhuo Li, Senzhang Wang, Xing Xie...

TL;DR本文提出一种参数隔离的图神经网络（PI-GNN）方法，通过扩展模型参数并冻结不受动态图影响的参数以保留之前学习的知识，解决动态图学习中的灾难性遗忘问题，实验证明其优于现有方法。

Abstract

Many real-world graph learning tasks require handling dynamic graphs where new nodes and edges emerge. Dynamic graph learning methods commonly suffer from the catastrophic forgetting problem, where knowledge lear

dynamic graphs catastrophic forgetting problem continual graph learning methods parameter isolation pi-gnn

发现论文，激发创造

流式图神经网络的持续学习

本文提出一种基于持续学习的流式 GNN 模型，通过信息传播和数据重放与模型正则化相结合，实现了对新模式和既有模式的同时维护，解决了历史知识被新知识覆盖的灾难性遗忘问题。在多个实验数据集上的节点分类结果表明，该模型能有效地更新模型参数并达到与重新训练相当的性能。

Sep, 2020

基于强化的关系图持续学习

本论文提出了一种结构学习策略和参数学习策略相结合的图像持续学习方法，并采用强化学习驱动结构学习策略，Dark Experience 回放的概念来应对灾难性遗忘问题。在图持续学习基准问题中得到了验证，并在两个设置中都表现出比最近发布的作品更好的性能。

Sep, 2022

通用图连续学习

我们提出了一种针对图学习中的灾难性遗忘问题的方法，在数据从一个图分布过渡到另一个图分布时，通过维持图的局部和全局结构一致性的排练机制来保持对过去任务的知识，并在实际图数据集中与各种持续学习基线进行了性能评测，取得了平均性能和任务遗忘方面的显著改进。

Aug, 2023

图上的连续学习：综述

综述连续图学习的最新研究进展，从解决灾难性遗忘的角度提出连续图学习的分类方法，探讨在连续改进中应用这些方法所面临的挑战和可能的解决方案，并讨论了对连续图学习发展的开放问题和未来方向以及其对连续性性能改善的影响。

Feb, 2024

持续学习中参数隔离的保证

深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

Oct, 2023

神经网络中应用参数重用克服灾难性遗忘

本文提出了一种名为 AdaptCL 的自适应学习方法，该方法通过参数再利用和增长来克服灾难性遗忘，并允许积极的后向传递，同时不需要数据集标签。

Jul, 2022

基于图的持续学习

本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

Jul, 2020

开放世界节点分类的图神经网络终身学习

本文提出了一种在图上进行终身学习的增量训练方法，通过 $k$- 邻居时间差的方法解决历史数据的差异，并在五种典型的 GNN 体系结构上进行训练，结果表明相对于对完整图数据的训练，只需要保留至多 50% 的 GNN 感受野，就能保证至少 95% 的准确度，并确认了随着显式知识变少，隐式知识变得更为重要。

Jun, 2020

图关系感知的持续学习

连续图学习研究了从无限的图数据流中学习的问题，将历史知识整合并推广到未来的任务。在当前只有当前的图数据可用。本文提出了一种关系感知自适应模型，并说明了图边缘后面的潜在关系可以被归因为不变因素。通过实验证明，该模型在 CitationNet、OGBN-arxiv 和 TWITCH 数据集上相对于现有方法分别提高了 2.2%、6.9% 和 6.6% 的准确度。

Aug, 2023

一种面向拓扑感知的图削减框架用于连续图学习

提出了一种基于拓扑感知的图粗化与持续学习框架，该框架通过将先前任务的信息存储为精简图，在每个时间段通过与新图结合并对齐共享节点来扩展精简图，并通过缩减过程进行稳定大小的 “缩小”，实验证明了该框架在三个真实数据集上使用不同的骨干 GNN 模型的有效性。

Jan, 2024