Feb, 2018

利用上下文相关门控和突触稳定缓解灾难性遗忘

PDF
TL;DR通过添加上下文依赖的门控信号，使得只有稀疏且大多非重叠的单元模式在任何一个任务中处于活动状态，从而稳定 ANN 的连接权重，以减轻灾难性遗忘。该方法易于实施，计算开销小，并且在与权重稳定相结合情况下能够使 ANN 在大量顺序呈现的任务中保持高性能，这些工作提供了另一个神经科学启发的算法如何有益于 ANN 设计和能力的例子。
发现论文，激发创造
  • 神经网络中的灾难性遗忘问题

    研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

    Dec, 2016

  • 神经网络中的灾难性遗忘测量

    本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

    Aug, 2017

  • 利用任务硬注意力克服灾难性遗忘

    本文提出了一种基于任务的硬注意机制，利用随机梯度下降学习硬注意掩码来保留上一个任务中的信息而不影响当前任务的学习，有效提高神经网络在顺序学习能力上的性能。此方法对不同超参数的选择也具有鲁棒性，并且具有控制学习知识稳定性和紧凑性等特点，在在线学习或网络压缩应用中也是吸引人的。

    Jan, 2018

  • 神经发生在克服灾难性遗忘中的作用

    本文研究表明，相较于静态网络，动态生长的神经网络在增量学习场景中表现更好，无监督学习使得训练更具挑战性，同时增加了研究的现实性，同时结构可塑性是防止非静态环境中的灾难性遗忘的有效方法。

    Nov, 2018

  • 通过对抗性神经修剪和突触巩固克服长期灾难性遗忘

    通过在大脑的突触可塑性中受到启发，作者提出了一种对抗神经修剪和突触巩固（ANPyC）机制来处理由于任务序列增加而导致的长期灾难性遗忘问题，其中神经修剪充当长期沮丧来修剪与任务无关的参数，而新颖的突触巩固则充当长期增强来增强与任务相关的参数。

    Dec, 2019

  • 具备复杂突触的持续强化学习

    本文研究了使用突触模型可以减轻人工神经网络中存在的 “灾难性遗忘” 现象，从而实现多时间尺度的持续学习并减少经验回放数据库在任务内的遗忘。

    Feb, 2018

  • 克服图神经网络中的灾难性遗忘

    该论文提出一种基于拓扑感知的权重保留 (TWP) 模块的方案，该模块针对图神经网络 (GNNs) 的持续学习问题，通过探索输入图的局部结构，稳定在拓扑聚合中起关键作用的参数，防止网络遗忘先前学习的知识，并证明该模块在多个数据集上的性能优于现有技术。

    Dec, 2020

  • 梯度神经网络中灾难性遗忘的实证研究

    探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

    Dec, 2013

  • 深度神经网络的少遗忘学习

    研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

    Jul, 2016

  • 通过神经元层面可塑性控制克服灾难性遗忘

    为解决神经网络中经常出现的灾难性遗忘问题，本文提出了一种称为神经元级可塑性控制 (NPC) 的新颖且有效的解决方案，该方法通过在神经元水平上控制网络的可塑性，在学习新任务的同时保留以前任务的知识，并且实验证明，相对于连接级别的保持方法，神经元级别的保持策略更为有效。

    Jul, 2019