增量学习中更好的可塑性 - 稳定性平衡：一种简单的线性连接器

Oct, 2021

增量学习中更好的可塑性 - 稳定性平衡：一种简单的线性连接器

Towards Better Plasticity-Stability Trade-off in Incremental Learning: A Simple Linear Connector

Guoliang Lin, Hanlu Chu, Hanjiang Lai

TL;DR本文章提出了一种基于模式连通性的损失地貌的方法，可以在不保留旧样本的情况下，实现更好的可塑性 - 稳定性权衡，该方法通过将两个独立优化的最优值连接起来实现一个有意义的平衡，我们在几个基准数据集上进行了评估，结果表明我们的简单方法可以提高模型性能。

Abstract

plasticity-stability dilemma is a main problem for incremental learning, where plasticity is referring to the ability to learn new knowledge, and stability retains the knowledge of previous tasks. Many methods ta

plasticity-stability dilemma incremental learning mode connectivity loss landscapes null-space projection

发现论文，激发创造

关于类别增量学习中的稳定性和可塑性两难问题

本文研究了班级迭代学习中的稳定性和可塑性之间的平衡，通过分析工具测量了特征表示的稳定性和可塑性，并发现大多数班级迭代学习算法更偏向稳定性而非可塑性，这不仅启发了新的算法，也提醒了班级迭代学习算法需要不断改进特征表示学习。

Apr, 2023

网络连续学习中稳定性与可塑性困境的新见解

本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

Feb, 2023

学习低秩特征表示：在连续学习中更好地平衡稳定性和可塑性

提出了一种名为 LRFR 的新型训练算法，通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性，同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度，从而增强了网络参数设计时的可塑性，该方法在持续学习的基准数据集 CIFAR-100 和 TinyImageNet 上持续优于最先进的方法。

Dec, 2023

通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

Mar, 2023

基于累积参数平均值的双学习器框架，实现塑性与稳定的无模板增量学习

在增量学习中，我们提出了一个具有累计参数平均的双学习者框架，适用于无例子的场景，并通过任务特定分类器提高预测性能。通过在 CIFAR-100 和 Tiny-ImageNet 上的实验证明，该方法在任务增量学习和类别增量学习中优于多种先进方法。

Oct, 2023

SRIL: 用于类增量学习的选择性正则化

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023

塑性优化的互补网络用于无监督连续学习

通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

Sep, 2023

通过网络分割和合并与梦幻元加权模型融合的持续学习

我们提出了一种名为 Split2MetaFusion 的连续学习方法，通过采用两阶段策略（分割和元权重融合），同时实现了网络稳定性和可塑性的更好权衡。在实验结果和分析中，证明了该方法在保持网络稳定性和可塑性方面的优越性。

Dec, 2023

线性模式连通性与彩票票证假说

研究神经网络优化是否在不同的 SGD 噪声样本下优化到相同的线性连接最小值；发现标准视觉模型在训练早期就变得稳定了，IMP 只有在稳定下来 SGD 噪声时才能达到完全准确性。

Dec, 2019

基于回忆导向的生成对抗元模型的连续学习

我们提出了回忆导向的持续学习框架，平衡稳定性和可塑性的目标，通过分离稳定性和可塑性的机制，在两层架构中，推理网络有效地获取新知识，生成网络在需要时回忆过去的知识，并通过引入生成对抗元模型（GAMM），根据不同表示的知识复杂性来增量学习任务特定参数，通过实验证明，我们的框架不仅能有效地学习新知识而且在任务感知和无任务感知的学习场景中实现了先前知识的高稳定性。

Mar, 2024