CVPRNov, 2018

无记忆学习

PDF
TL;DR提出一种新方法 “无需记忆学习 (LwM)”，通过信息保留惩罚方法 Attention Distillation Loss (L_AD) 来保存基础类的信息，同时逐步学习新类，实现在设备内存有限的情况下进行增量学习并取得更好的效果，实验证明在 iILSVRC-small 和 iCIFAR-100 数据集上，加入 L_AD 相较于现有的信息保留方法有更好的基础和增量学习准确度。
incremental learninglearning without memorizingattention distillation lossiilsvrc-smallicifar-100
发现论文，激发创造
  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 助记训练：无遗忘的多类增量学习

    本文提出了一种名为 “mnemonics” 自动化框架，通过维护先前类别的几个代表性示例，通过双层优化方式对其进行训练，探讨了较好的多类增量学习策略。mnemonics 在 CIFAR-100，ImageNet-Subset 和 ImageNet 三个 MCIL 基准上的实验结果表明，mnemonics 示例可大幅领先于现有技术。同时，mnemonics 的实例往往在不同类别之间的边界上，具有极大的研究兴趣。

    Feb, 2020

  • 视觉语言模型的无遗忘学习

    我们提出了一种叫做 PROOF 的模型，它通过训练任务特定的映射来解决 Vision-Language Models 在 Class-Incremental Learning 时候遗忘问题，并且通过融合多模态信息来提高模型的语义表示能力。在九个基准数据集上进行的实验表明，PROOF 达到了最先进的性能。

    May, 2023

  • 大规模增量学习

    本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

    May, 2019

  • 通过特征适应实现内存高效的渐进式学习

    本文提出了一种增量学习的方法，该方法保留以前学习类别的训练图像的特征描述符，而不是图像本身，采用了比大多数现有方法更少的低维特征嵌入，通过多层感知器学习特征适应以实现分类器旧类别和新类别的联合优化，并取得了与保留图像相比更低的内存占用和最先进的分类准确率。

    Apr, 2020

  • 元学习增量目标检测

    该研究提出了一种元学习方法，以优化共享增量任务信息的模型梯度并通过元学习梯度预处理来减少遗忘和最大化知识转移，从而提高目标检测中的增量学习性能。

    Mar, 2020

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 无遗忘新类别发现

    本文提出了 NCDwF (无遗忘新类别发现) 这一新的实际问题，并使用生成拟变量表示、基于互信息的正则化以及已知类别标识符等方法进行了研究，通过基于 CIFAR-10、CIFAR-100 和 ImageNet-1000 的实验验证了其在已有知识保留和新类别发现之间的平衡效果。

    Jul, 2022

  • Always Be Dreaming: 无数据增量学习的新方法

    本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。

    Jun, 2021

  • 通过持续增量训练检测变形攻击

    通过模拟每次有新的数据块可用时更新的学习模型，本文研究了在限制数据传输和存储的情况下，不同 Continual Learning 方法的性能，发现 Learning without Forgetting 是其中表现最佳的算法之一，并探究了它在 Morphing Attack Detection 和 Object Classification 任务中的使用和参数化，特别是与新的训练数据量相关的方面。

    Jul, 2023