Jan, 2022

eXtended DER-verse 中的类增量继续学习

PDF
TL;DR本研究针对我们先前提出的 Dark Experience Replay（DER）方案的缺点进行了评估和克服，提出了一种称为 eXtended-DER（X-DER）的改进方案，它能够在连续学习设置中拓展我们的模型，获得了显着的提高。
class-incremental continual learningdark experience replayknowledge distillationx-dercontinual learning
发现论文，激发创造
  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 使用扩散模型进行蒸馏与回放的类增量学习

    本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

    Jun, 2023

  • 概念漂移下的增量式经验回放连续学习

    提出了一种新的持续性学习方法来同时处理学习和存储新信息以及适应先前概念的变化，该方法引入了一个记忆库和一个反应子空间缓冲区来解决数据流挖掘和连续学习两个领域的问题。

    Apr, 2021

  • 具有领域感知分类表示的通用增量学习

    本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

    Apr, 2022

  • 适应性特征融合的知识蒸馏分类增量学习

    本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

    Apr, 2022

  • 基于生成分类器的类别增量学习

    通过生成式分类方法来实现增量学习，利用变分自编码器进行实现，在多项延续学习基准测试中表现优异。

    Apr, 2021

  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023

  • 基于狄利克雷生成的排练的持续学习

    近期的数据驱动任务导向对话系统在增量学习方面存在计算约束和耗时的问题，而连续学习试图通过避免密集的预训练来解决此问题，但它面临的问题是灾难性遗忘。本文提出了 Dirichlet 连续学习（DCL），这是一种新颖的基于生成的排练策略，用于连续学习。与传统上在条件变分自编码器（CVAE）中使用的高斯潜变量不同，DCL 利用 Dirichlet 分布的灵活性和多功能性来建模潜在先验变量。这使得它能够有效地捕捉先前任务的句子级特征并有效地指导伪样本的生成。此外，我们介绍了 Jensen-Shannon 知识蒸馏（JSKD），一种强大的基于逻辑的知识蒸馏方法，在伪样本生成期间增强了知识传递。我们的实验证实了我们方法在意图检测和槽填充任务上的有效性，并且胜过了最先进的方法。

    Sep, 2023

  • 快速学习、慢速学习：基于互补学习系统的一种通用持续学习方法

    提出 CLS-ER，一种双重记忆体验重放的方法，有助于在学习新知识的同时保留和补充先前的知识记忆，从而实现深度神经网络的持续学习。

    Jan, 2022

  • SRIL: 用于类增量学习的选择性正则化

    本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

    May, 2023