ICLRFeb, 2023

网络连续学习中稳定性与可塑性困境的新见解

PDF
TL;DR本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。
发现论文，激发创造
  • 用于分析持续学习者的新度量标准

    在连续流数据的情景中，深度神经网络在解决多个分类任务时，面临着保持旧任务知识同时学习新任务的挑战。本研究分析了当前度量方法的局限性，发现了新任务引起的遗忘问题，并提出了一套考虑任务难度增加的新度量方法，实验证明这些度量方法能够提供有关模型在连续学习环境中平衡稳定性和可塑性的新见解。

    Sep, 2023

  • 深度持续学习中的可塑性维护

    本文研究了深度学习系统在持续学习环境下的表现，发现其容易出现失去可塑性现象，影响其对新数据的适应能力，但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法，可以缓解和避免这种现象。

    Jun, 2023

  • 通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

    通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

    Mar, 2023

  • 基于回忆导向的生成对抗元模型的连续学习

    我们提出了回忆导向的持续学习框架，平衡稳定性和可塑性的目标，通过分离稳定性和可塑性的机制，在两层架构中，推理网络有效地获取新知识，生成网络在需要时回忆过去的知识，并通过引入生成对抗元模型（GAMM），根据不同表示的知识复杂性来增量学习任务特定参数，通过实验证明，我们的框架不仅能有效地学习新知识而且在任务感知和无任务感知的学习场景中实现了先前知识的高稳定性。

    Mar, 2024

  • 通过协作学习改进在线持续学习的可塑性

    在线连续学习是解决从连续数据流中学习不断出现的新分类任务的问题，本文提出了 Collaborative Continual Learning (CCL) 和 Distillation Chain (DC) 两种方法，通过合作学习和知识蒸馏，大幅提高了模型的学习能力和性能。

    Dec, 2023

  • 学习低秩特征表示：在连续学习中更好地平衡稳定性和可塑性

    提出了一种名为 LRFR 的新型训练算法，通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性，同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度，从而增强了网络参数设计时的可塑性，该方法在持续学习的基准数据集 CIFAR-100 和 TinyImageNet 上持续优于最先进的方法。

    Dec, 2023

  • 通过高级零空间在不间断学习中平衡稳定性与可塑性

    本文提出了一种新的连续学习方法 Advanced Null Space (AdNS)，通过使用低秩逼近获取新的零空间并将梯度投影到零空间中，从而实现平衡稳定性和可塑性，解决了连续学习中的稳定性 - 可塑性困境，并提出了一种简单而有效的方法 intra-task distillation 来提高当前任务的性能。实验结果表明，与最先进的连续学习方法相比，该方法可以实现更好的性能。

    Jul, 2022

  • 通过网络分割和合并与梦幻元加权模型融合的持续学习

    我们提出了一种名为 Split2MetaFusion 的连续学习方法，通过采用两阶段策略（分割和元权重融合），同时实现了网络稳定性和可塑性的更好权衡。在实验结果和分析中，证明了该方法在保持网络稳定性和可塑性方面的优越性。

    Dec, 2023

  • 终身学习中的持续评估：发现稳定性差距

    本论文提出一个连续的学习框架，旨在解决神经网络训练过程中遗忘的问题，并定义了一系列新的指标来实现对学习机的实时评估，研究表明既有重放机制又有正则化机制的在线学习方法都存在稳定性差距的问题。

    May, 2022

  • 分支调整：平衡稳定性和可塑性的连续自监督学习

    我们提出了一种平衡稳定性和可塑性的方法，称为 Branch-tuning，可以应用于不同的自监督学习方法，而无需修改原始方法、保留旧数据或模型。通过在各种基准数据集上进行渐进实验，验证了该方法在真实场景中的有效性和实用价值。

    Mar, 2024