Dec, 2023

学习低秩特征表示：在连续学习中更好地平衡稳定性和可塑性

PDF
TL;DR提出了一种名为 LRFR 的新型训练算法，通过在过去任务的特征表示矩阵的零空间中优化网络参数来保证稳定性，同时在训练各个任务时仅选择网络各层中的部分神经元来学习过去任务的特征表示矩阵以增加零空间维度，从而增强了网络参数设计时的可塑性，该方法在持续学习的基准数据集 CIFAR-100 和 TinyImageNet 上持续优于最先进的方法。
发现论文，激发创造
  • 网络连续学习中稳定性与可塑性困境的新见解

    本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

    Feb, 2023

  • InfLoRA: 自动学习的无干扰低秩适应

    通过注入少量参数重参数化预训练权重，InfLoRA 方法设计了一个子空间来消除新任务对旧任务的干扰，实现了稳定性和可塑性之间的良好权衡，从而在多个数据集上胜过现有最先进的持续学习方法。

    Mar, 2024

  • 前瞻性选择性可塑性实现视觉任务的持续学习

    通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

    Nov, 2023

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 在特征协方差的零空间中训练网络以进行持续学习

    该研究提出了一种名为 Adam-NSCL 的网络训练算法，通过在先前任务的零空间内依次优化网络参数，平衡了网络在不断学习过程中的可塑性和稳定性。实验结果表明该算法在 CIFAR-100 和 TinyImageNet 等基准数据集上胜过或与最先进的连续学习方法相媲美。

    Mar, 2021

  • 通过增加表示等级和特征丰富性来提高类增量学习的前向兼容性

    提出了一种基于特征丰富性的有效秩增强方法（RFR），旨在提高前向兼容性，该方法通过在基础会话期间增加表示的有效秩，从而便于将更多信息丰富的特征纳入未见过的新任务中，并验证方法的有效性和性能改进。

    Mar, 2024

  • 通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

    通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

    Mar, 2023

  • 塑性优化的互补网络用于无监督连续学习

    通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

    Sep, 2023

  • 可证明的表示学习终身学习

    提出一种终身学习算法，通过维护和完善内部特征表示，使前面学习所得的知识能够迁移并应用于接下来的学习任务中，从而提高样本利用效率，并通过实验证明，与现有的终身学习方法相比具有更高的效率。

    Oct, 2021

  • 使用局部变换学习不变表示

    本文提出了一个新颖的具有转换不变性的特征学习框架，将线性转换纳入特征学习算法中，可应用于无监督学习方法，如自动编码器或稀疏编码，证明在 MNIST 变化，CIFAR-10 和 STL-10 等图像分类基准数据集上具有优越的分类性能并在 TIMIT 数据集上实现了最先进的电话分类任务的结果。

    Jun, 2012