Apr, 2024

IMEX-Reg: 面向连续学习的函数空间中的隐式 - 显式正则化

PDF
TL;DR我们提出了 IMEX-Reg，通过对比表示学习和一致性正则化使用两重隐性 - 显性正则化方法来改善在低缓存场景下连续学习中经验重演的泛化性能，结果表明 IMEX-Reg 在多个连续学习场景中显著提高了泛化性能，并在可信的自然和敌对污染下表现出更少的任务 - 最近性偏差，此外，我们提供了进一步支持我们设计决策的理论洞察。
发现论文，激发创造
  • 强化经验重放的连续学习

    本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

    May, 2023

  • 持续学习中的一致性是进一步减轻灾难性遗忘的关键

    通过在 Experience Replay 框架中引入一致性正则化方法，将其作为自监督前提任务，并在各种连续学习场景下进行研究。结果表明，相对严格的一致性约束可以更好地保留以前任务的信息。

    Jul, 2022

  • 遗忘与回溯：连续学习中的增量潜在校正

    本文研究了一种名为增量潜在矫正（Incremental Latent Rectification，ILR）的连续学习方法，通过使用一系列小的表示映射网络（称为矫正器单元），使当前训练的深度神经网络的表示向过去任务的表示空间进行校正，从而有效缓解当前深度神经网络面临的灾难性遗忘问题。实证实验在多个连续学习基准数据集上，包括 CIFAR10、CIFAR100 和 Tiny ImageNet，证明了增量潜在矫正方法相较于已有的连续学习方法的有效性和潜力。

    Jun, 2024

  • 等变正则化在在线鲁棒持续学习中的有效性

    本研究提出了一种在线持续学习方法 CLER，通过等变性预处理任务进行自我监督，避免了 CSSL 技术的局限性，并与现有 OCL 方法轻松集成。重点探讨了等变性预处理任务对网络信息流的影响以及其对持续学习动态的影响。

    May, 2023

  • 持续学习的不变表示学习

    本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

    Jan, 2021

  • 基于正则化的持续学习的优化和泛化：一种损失逼近的视角

    本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

    Jun, 2020

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023

  • 快速学习、慢速学习：基于互补学习系统的一种通用持续学习方法

    提出 CLS-ER，一种双重记忆体验重放的方法，有助于在学习新知识的同时保留和补充先前的知识记忆，从而实现深度神经网络的持续学习。

    Jan, 2022

  • 参数高效的增量式学习的互补学习子网络

    本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

    Jun, 2023

  • TriRE: 持续知识保留和推进的多机制学习范式

    借鉴大脑同时利用多种机制的方式，我们提出了 TriRE，一种新的持续学习范式，它包括保留每个任务最突出的神经元，修订和巩固当前和过去任务的提取知识，以及通过回溯和重新学习促进次要活跃神经元用于后续任务。在持续学习设置中，TriRE 显著减少了任务干扰，并超过了考虑独立评估的不同持续学习方法。

    Oct, 2023