Mar, 2024

关于连续学习中宽度递减收益的研究

PDF
TL;DR深度神经网络在各种环境中表现出前沿的性能，但在按顺序训练新任务时往往会出现 “灾难性遗忘”。本研究设计了一个框架来分析连续学习理论，并证明网络宽度与遗忘之间存在直接关系。具体而言，我们证明增加网络宽度以减少遗忘产生递减的效果，我们在以前的研究中未曾探索过的宽度范围上通过实验证实了我们理论的预测，清晰地观察到这种递减效果。
deep neural networkscatastrophic forgettingcontinual learningnetwork widthfeed-forward networks
发现论文，激发创造
  • 宽神经网络的遗忘相对较少

    这篇论文讨论了神经网络模型架构对于解决神经网络遗忘问题的影响，研究了模型宽度对于遗忘现象的意义，并从梯度正交性、稀疏和懒惰训练等角度探讨了神经网络学习动态以提供相应的解释。

    Oct, 2021

  • 特征学习网络在现实规模下的宽度一致性

    研究神经网络的宽度对特征学习动态的影响，探究网络结构，内部表示，预激活分布，稳定现象的一致性，以及相应的有限宽度偏差和频谱视角。

    May, 2023

  • 模型大小对在线连续学习中灾难性遗忘的影响

    研究探讨了模型大小对在线持续学习性能的影响，重点研究了灾难性遗忘。使用不同大小的 ResNet 架构，研究了网络深度和宽度对使用 SplitCIFAR-10 数据集进行逐步学习的模型性能的影响。研究结果表明，更大的模型并不能保证更好的持续学习性能；事实上，在适应新任务时，它们经常在在线环境中更加困难。这些结果挑战了更大的模型本质上缓解灾难性遗忘的观点，突显了模型大小和持续学习效果之间的微妙关系。该研究在持续学习场景中对模型可伸缩性及其实际影响做出了更深入的理解。

    Jun, 2024

  • 广而深的神经网络是否学习相同的内容？揭示不同宽度和深度下神经网络表示的变化

    本篇研究通过探究深度和宽度对模型隐藏表示的影响，发现一个特征块结构，这个结构是相对于训练集大小而言容量较大（更宽 / 更深）的模型中隐藏表示的一种保留和传播主要成分的方式。该发现对不同模型学习的特征有重要影响，其代表性的块结构对于每个模型来说是独一无二的。最后，我们分析了不同模型体系结构的输出预测，发现即使整体准确率相似，宽而深的模型也表现出不同类别之间鲜明的错误模式和差异。

    Oct, 2020

  • 持续学习中参数隔离的保证

    深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

    Oct, 2023

  • 更宽的网络学习更好的特征

    研究发现，对于新任务的神经网络，学习特征的可转移性可以大幅减少训练成本；通过使用激活图谱技术研究网络宽度对学习特征的影响，并表明增加网络宽度可以显著提高针对新任务的性能表现。

    Sep, 2019

  • 任意深度的宽神经网络在梯度下降下演化为线性模型

    本文研究神经网络的学习和泛化性能，发现对于宽神经网络，学习动态变得简单，并且在无限宽度的极限下，它们由网络初始参数的一阶泰勒展开得到的线性模型控制。同时，通过在广义上拟合高斯过程的理论，揭示了神经网络可能表现出高斯过程的特性。

    Feb, 2019

  • 学会成长：应对灾难性遗忘的连续结构学习框架

    本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于 MNIST、CIFAR100 和 Visual Domain Decathlon 数据集上的所有基线。

    Mar, 2019

  • 关于超参数神经网络理论与实践之间的脱节

    通过对无限宽度极限进行实证研究，我们的结果表明：无限宽度极限理论不适用于实际的优化、不确定性量化和持续学习问题，进而对于无限宽度极限的实际相关性提出了质疑。

    Sep, 2023

  • 自注意力中深度和宽度的相互作用

    该研究通过理论预测和系统实验，发现了自注意力网络中网络深度和宽度之间的深度有效性和深度低效性之间的宽度依赖性转变，并提供了在给定尺寸的自我注意网络中深度和宽度的最佳分配的明确量化建议。

    Jun, 2020