通过对抗性神经修剪和突触巩固克服长期灾难性遗忘

Dec, 2019

通过对抗性神经修剪和突触巩固克服长期灾难性遗忘

Overcoming Long-term Catastrophic Forgetting through Adversarial Neural Pruning and Synaptic Consolidation

Jian Peng, Bo Tang, Hao Jiang, Zhuo Li, Yinjie Lei...

TL;DR通过在大脑的突触可塑性中受到启发，作者提出了一种对抗神经修剪和突触巩固（ANPyC）机制来处理由于任务序列增加而导致的长期灾难性遗忘问题，其中神经修剪充当长期沮丧来修剪与任务无关的参数，而新颖的突触巩固则充当长期增强来增强与任务相关的参数。

Abstract

artificial neural networks face the well-known problem of catastrophic forgetting. What's worse, the degradation of previously learned skills becomes more severe as the task sequence increases, known as the long-term catastrophic forgetting. It is due to two facts: first, as the model

artificial neural networks catastrophic forgetting memory consolidation adversarial neural pruning synaptic consolidation

发现论文，激发创造

利用上下文相关门控和突触稳定缓解灾难性遗忘

通过添加上下文依赖的门控信号，使得只有稀疏且大多非重叠的单元模式在任何一个任务中处于活动状态，从而稳定 ANN 的连接权重，以减轻灾难性遗忘。该方法易于实施，计算开销小，并且在与权重稳定相结合情况下能够使 ANN 在大量顺序呈现的任务中保持高性能，这些工作提供了另一个神经科学启发的算法如何有益于 ANN 设计和能力的例子。

Feb, 2018

具备复杂突触的持续强化学习

本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

Feb, 2018

通过神经元层面可塑性控制克服灾难性遗忘

为解决神经网络中经常出现的灾难性遗忘问题，本文提出了一种称为神经元级可塑性控制 (NPC) 的新颖且有效的解决方案，该方法通过在神经元水平上控制网络的可塑性，在学习新任务的同时保留以前任务的知识，并且实验证明，相对于连接级别的保持方法，神经元级别的保持策略更为有效。

Jul, 2019

神经网络中的灾难性遗忘问题

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

神经发生在克服灾难性遗忘中的作用

本文研究表明，相较于静态网络，动态生长的神经网络在增量学习场景中表现更好，无监督学习使得训练更具挑战性，同时增加了研究的现实性，同时结构可塑性是防止非静态环境中的灾难性遗忘的有效方法。

Nov, 2018

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

存储感知突触：学习何时（不）遗忘

本文提出了一个新的生命周期学习的方法，命名为记忆感知突触 (Memory Aware Synapses)，它计算神经网络参数的重要性，并根据重要性进行惩罚以防止重要知识被覆盖，这与大脑学习过程的 Hebb 规则有相关性。在物体识别任务和嵌入学习任务中，该方法表现出最先进的性能。

Nov, 2017

利用任务硬注意力克服灾难性遗忘

本文提出了一种基于任务的硬注意机制，利用随机梯度下降学习硬注意掩码来保留上一个任务中的信息而不影响当前任务的学习，有效提高神经网络在顺序学习能力上的性能。此方法对不同超参数的选择也具有鲁棒性，并且具有控制学习知识稳定性和紧凑性等特点，在在线学习或网络压缩应用中也是吸引人的。

Jan, 2018

高效的非回忆式零遗忘连续学习：自适应权重调节

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

克服图神经网络中的灾难性遗忘

该论文提出一种基于拓扑感知的权重保留 (TWP) 模块的方案，该模块针对图神经网络 (GNNs) 的持续学习问题，通过探索输入图的局部结构，稳定在拓扑聚合中起关键作用的参数，防止网络遗忘先前学习的知识，并证明该模块在多个数据集上的性能优于现有技术。

Dec, 2020