Jan, 2024

增强一致性与减轻偏见：一种用于增量学习的数据回放方法

PDF
TL;DR提出了一种通过量化数据一致性并引入新的损失函数来改进数据回放及类别增量学习的方法。在实验证明比以前的方法有更好的性能。
catastrophic forgettingdata-free data replayinverted samplescontinual learningclass incremental learning
发现论文，激发创造
  • 基于重播的连续学习在语义分割中的应用: RECALL

    研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

    Aug, 2021

  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 生成式特征重放用于类增量学习

    对于神经网络中的灾难性遗忘问题和老新类别不均衡问题，本文提出了一种基于生成式特征回放和特征蒸馏的解决方案，可以不使用明显的旧任务样本，在 CIFAR-100 和 ImageNet 等数据集上实现了最先进的结果，存储空间成本低。

    Apr, 2020

  • 基于时间感知正则化的生成式经验回放的类增量学习

    在严格的条件下，通过使用生成回放、模型大小控制、时态正则化等方法，本研究提出了一种脑启发式的持续学习方法，以解决累积学习中遗忘问题，并在重要基准测试中取得了较好的实验结果。

    Oct, 2023

  • 抵御类增量学习中的不平衡遗忘

    通过对回放类增量学习中发现的精度不平衡现象进行研究，我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法，该方法可以无缝地集成到现有的回放类增量学习方法中，并通过广泛的实验证明了其有效性。

    Mar, 2024

  • 在类增量学习中提取数据的因果效应

    本文提出了一个因果框架，解释了类增量学习中的灾难性遗忘的原因，并提出了一种新的蒸馏方法，该方法与现有的抗遗忘技术（例如数据回放和特征 / 标签蒸馏）正交。在这个框架下，我们发现特征 / 标签蒸馏虽然存储效率高，但其因果效应与端到端特征学习的优点不相符，而数据回放则能够保留此效应，因此我们建议使用基于 Colliding Effect 的因果蒸馏方法，在不损失回放存储的情况下，实现类增量学习中的遗忘效应的缓解。实验结果表明该方法能够显著提高目前各类增量学习方法的性能。

    Mar, 2021

  • 持续学习的不变表示学习

    本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

    Jan, 2021

  • Always Be Dreaming: 无数据增量学习的新方法

    本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。

    Jun, 2021

  • 使用扩散模型进行蒸馏与回放的类增量学习

    本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

    Jun, 2023

  • 平衡的破坏 - 重建动态用于记忆回放类增量学习

    通过平衡当前阶段的样本和内存中保存的样本的贡献，提出了一种新的平衡破坏与重建模块（BDR），用于记忆回放的类增量学习（CIL），通过减少旧知识的最大破坏程度，可以实现更好的知识重建。实验证明，作为一种轻量级即插即用模块，BDR 能显著提高现有最先进方法的性能，并具有良好的泛化能力。

    Aug, 2023