Oct, 2023

大象神经网络：天生的持续学习者

PDF
TL;DR通过研究神经网络的激活函数在训练动态和遗忘问题上的影响，本研究揭示了稀疏表示和激活函数的梯度稀疏性在减少遗忘方面的重要作用，并提出了一种名为 elephant 激活函数的新类别的激活函数，它能够生成稀疏表示和稀疏梯度，通过用 elephant 激活函数替换传统激活函数，可以显著提高神经网络对遗忘的韧性。该方法在回归、类递增学习和强化学习任务中都具有广泛的适用性和益处，在 Split MNIST 数据集上只需一个遍历就能取得出色的性能，而无需使用回放缓冲区、任务边界信息或预训练。
catastrophic forgettingcontinual learningactivation functionsneural networkselephant activation functions
发现论文，激发创造
  • 梯度神经网络中灾难性遗忘的实证研究

    探究现代神经网络机器学习模型在不同任务训练后的 “灾难性遗忘” 问题，发现以 dropout 算法为代表的梯度训练算法可以最好地适应新任务并记住旧任务，而不同任务间的关系会显著影响激活函数表现，建议激活函数选择交叉验证。

    Dec, 2013

  • 神经网络中的灾难性遗忘测量

    本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

    Aug, 2017

  • 基于神经激活空间零维度的稀疏性和异构丢失对连续学习的影响

    本文提出了两种生物启发机制，基于稀疏性和异构 dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大的性能提升。

    Mar, 2022

  • 神经发生在克服灾难性遗忘中的作用

    本文研究表明，相较于静态网络，动态生长的神经网络在增量学习场景中表现更好，无监督学习使得训练更具挑战性，同时增加了研究的现实性，同时结构可塑性是防止非静态环境中的灾难性遗忘的有效方法。

    Nov, 2018

  • 神经网络中的灾难性遗忘问题

    研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

    Dec, 2016

  • 宽神经网络的遗忘相对较少

    这篇论文讨论了神经网络模型架构对于解决神经网络遗忘问题的影响，研究了模型宽度对于遗忘现象的意义，并从梯度正交性、稀疏和懒惰训练等角度探讨了神经网络学习动态以提供相应的解释。

    Oct, 2021

  • 面向终身学习训练循环神经网络

    本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

    Nov, 2018

  • 利用上下文相关门控和突触稳定缓解灾难性遗忘

    通过添加上下文依赖的门控信号，使得只有稀疏且大多非重叠的单元模式在任何一个任务中处于活动状态，从而稳定 ANN 的连接权重，以减轻灾难性遗忘。该方法易于实施，计算开销小，并且在与权重稳定相结合情况下能够使 ANN 在大量顺序呈现的任务中保持高性能，这些工作提供了另一个神经科学启发的算法如何有益于 ANN 设计和能力的例子。

    Feb, 2018

  • 增量深度神经网络中灾难性遗忘的方法学研究

    通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

    May, 2024

  • 理解连续学习中训练策略的作用

    通过研究不同的训练规则，如 dropout、学习率衰减和 batch size 等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。

    Jun, 2020