克服图神经网络中的灾难性遗忘

AAAIDec, 2020

Overcoming Catastrophic Forgetting in Graph Neural Networks

Huihui Liu, Yiding Yang, Xinchao Wang

TL;DR该论文提出一种基于拓扑感知的权重保留 (TWP) 模块的方案，该模块针对图神经网络 (GNNs) 的持续学习问题，通过探索输入图的局部结构，稳定在拓扑聚合中起关键作用的参数，防止网络遗忘先前学习的知识，并证明该模块在多个数据集上的性能优于现有技术。

Abstract

catastrophic forgetting refers to the tendency that a neural network "forgets" the previous learned knowledge upon learning new tasks. Prior methods have been focused on overcoming this problem on convolutional neural n

catastrophic forgetting neural networks graph neural networks continual learning topology-aware weight preserving

发现论文，激发创造

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

神经网络中的灾难性遗忘问题

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

梯度神经网络中灾难性遗忘的实证研究

探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

Dec, 2013

通用图连续学习

我们提出了一种针对图学习中的灾难性遗忘问题的方法，在数据从一个图分布过渡到另一个图分布时，通过维持图的局部和全局结构一致性的排练机制来保持对过去任务的知识，并在实际图数据集中与各种持续学习基线进行了性能评测，取得了平均性能和任务遗忘方面的显著改进。

Aug, 2023

深度神经网络的少遗忘学习

研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

Jul, 2016

基于统计力学的教师 - 学生网络连续学习中的灾难性遗忘分析

本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

May, 2021

利用任务硬注意力克服灾难性遗忘

本文提出了一种基于任务的硬注意机制，利用随机梯度下降学习硬注意掩码来保留上一个任务中的信息而不影响当前任务的学习，有效提高神经网络在顺序学习能力上的性能。此方法对不同超参数的选择也具有鲁棒性，并且具有控制学习知识稳定性和紧凑性等特点，在在线学习或网络压缩应用中也是吸引人的。

Jan, 2018

宽神经网络的遗忘相对较少

这篇论文讨论了神经网络模型架构对于解决神经网络遗忘问题的影响，研究了模型宽度对于遗忘现象的意义，并从梯度正交性、稀疏和懒惰训练等角度探讨了神经网络学习动态以提供相应的解释。

Oct, 2021

学会成长：应对灾难性遗忘的连续结构学习框架

本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于 MNIST、CIFAR100 和 Visual Domain Decathlon 数据集上的所有基线。

Mar, 2019

连续学习中灾难性遗忘和记忆的理解与最优相关映射

本文介绍了一种基于相关性映射网络 (RMNs) 的新方法，来解决神经网络模型中的 “灾难性遗忘” 问题，该方法受到最优重叠假设的启发，并能够在不违反理想的连续学习系统约束的情况下，显着超越数据重放方法，成为最优连续学习数据集中的主流方法；同时，RMNs 还具备检测新任务数据的无监督学习能力。

Feb, 2021