通过神经元层面可塑性控制克服灾难性遗忘

Jul, 2019

通过神经元层面可塑性控制克服灾难性遗忘

Overcoming Catastrophic Forgetting by Neuron-level Plasticity Control

Inyoung Paik, Sangjun Oh, Tae-Yeong Kwak, Injung Kim

TL;DR为解决神经网络中经常出现的灾难性遗忘问题，本文提出了一种称为神经元级可塑性控制 (NPC) 的新颖且有效的解决方案，该方法通过在神经元水平上控制网络的可塑性，在学习新任务的同时保留以前任务的知识，并且实验证明，相对于连接级别的保持方法，神经元级别的保持策略更为有效。

Abstract

To address the issue of catastrophic forgetting in neural networks, we propose a novel, simple, and effective solution called neuron-level plasticity control (NPC). While learning a new task, the proposed method

catastrophic forgetting neural networks neuron-level plasticity control incremental learning consolidation

发现论文，激发创造

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

神经网络中的灾难性遗忘问题

研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

Dec, 2016

神经发生在克服灾难性遗忘中的作用

本文研究表明，相较于静态网络，动态生长的神经网络在增量学习场景中表现更好，无监督学习使得训练更具挑战性，同时增加了研究的现实性，同时结构可塑性是防止非静态环境中的灾难性遗忘的有效方法。

Nov, 2018

通过对抗性神经修剪和突触巩固克服长期灾难性遗忘

通过在大脑的突触可塑性中受到启发，作者提出了一种对抗神经修剪和突触巩固（ANPyC）机制来处理由于任务序列增加而导致的长期灾难性遗忘问题，其中神经修剪充当长期沮丧来修剪与任务无关的参数，而新颖的突触巩固则充当长期增强来增强与任务相关的参数。

Dec, 2019

克服图神经网络中的灾难性遗忘

该论文提出一种基于拓扑感知的权重保留 (TWP) 模块的方案，该模块针对图神经网络 (GNNs) 的持续学习问题，通过探索输入图的局部结构，稳定在拓扑聚合中起关键作用的参数，防止网络遗忘先前学习的知识，并证明该模块在多个数据集上的性能优于现有技术。

Dec, 2020

理解连续学习中训练策略的作用

通过研究不同的训练规则，如 dropout、学习率衰减和 batch size 等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。

Jun, 2020

机器学习应用中的谈判表示以防止遗忘

机器学习中的灾难性遗忘是一个重要的挑战，本文提出了一种新的方法来防止机器学习应用中的灾难性遗忘，并展示了该方法在连续学习设置中提高神经网络性能的潜力。

Nov, 2023

利用上下文相关门控和突触稳定缓解灾难性遗忘

通过添加上下文依赖的门控信号，使得只有稀疏且大多非重叠的单元模式在任何一个任务中处于活动状态，从而稳定 ANN 的连接权重，以减轻灾难性遗忘。该方法易于实施，计算开销小，并且在与权重稳定相结合情况下能够使 ANN 在大量顺序呈现的任务中保持高性能，这些工作提供了另一个神经科学启发的算法如何有益于 ANN 设计和能力的例子。

Feb, 2018

具备复杂突触的持续强化学习

本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

Feb, 2018

深度神经网络的少遗忘学习

研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

Jul, 2016