Jun, 2024

模型大小对在线连续学习中灾难性遗忘的影响

PDF
TL;DR研究探讨了模型大小对在线持续学习性能的影响，重点研究了灾难性遗忘。使用不同大小的 ResNet 架构，研究了网络深度和宽度对使用 SplitCIFAR-10 数据集进行逐步学习的模型性能的影响。研究结果表明，更大的模型并不能保证更好的持续学习性能；事实上，在适应新任务时，它们经常在在线环境中更加困难。这些结果挑战了更大的模型本质上缓解灾难性遗忘的观点，突显了模型大小和持续学习效果之间的微妙关系。该研究在持续学习场景中对模型可伸缩性及其实际影响做出了更深入的理解。
model sizeonline continual learningcatastrophic forgettingresnet architecturesclass-incremental learning
发现论文，激发创造
  • 宽神经网络的遗忘相对较少

    这篇论文讨论了神经网络模型架构对于解决神经网络遗忘问题的影响，研究了模型宽度对于遗忘现象的意义，并从梯度正交性、稀疏和懒惰训练等角度探讨了神经网络学习动态以提供相应的解释。

    Oct, 2021

  • 单模型之外的持续学习

    通过实验验证，本研究探讨了在连续学习过程中使用集成模型的优缺点，提出了一个计算简单、性能优良的算法来解决集成模型带来的高计算成本问题，并解决了连续学习中的遗忘问题。

    Feb, 2022

  • DNN 中灾难性遗忘的综合应用研究

    通过大规模实证研究，我们提出了一种新的实验协议，并在目前最多的视觉分类数据集上评估序列学习任务，结果表明在应用场景下，没有一种模型能够避免所有的灾难性遗忘，最后我们探讨了 EWC 和 IMM 模型的潜在解决方案和解决方法.

    May, 2019

  • 关于连续学习中宽度递减收益的研究

    深度神经网络在各种环境中表现出前沿的性能，但在按顺序训练新任务时往往会出现 “灾难性遗忘”。本研究设计了一个框架来分析连续学习理论，并证明网络宽度与遗忘之间存在直接关系。具体而言，我们证明增加网络宽度以减少遗忘产生递减的效果，我们在以前的研究中未曾探索过的宽度范围上通过实验证实了我们理论的预测，清晰地观察到这种递减效果。

    Mar, 2024

  • 班级增量学习的要素

    研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

    Feb, 2021

  • 理解连续学习中训练策略的作用

    通过研究不同的训练规则，如 dropout、学习率衰减和 batch size 等，以形成训练模式，从而扩大任务的局部极小值，在帮助神经网络避免灾难性遗忘方面提供了实用的见解。

    Jun, 2020

  • 深度卷积神经网络的鲁棒性建模的系统方法

    卷积神经网络在大量标记数据可用时表现出广泛的适用性，然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响，并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本，发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助，但训练成本却显著增加。

    Jan, 2024

  • 神经网络中的灾难性遗忘测量

    本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

    Aug, 2017

  • 增量深度神经网络中灾难性遗忘的方法学研究

    通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

    May, 2024

  • 面向终身学习训练循环神经网络

    本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

    Nov, 2018