平衡的破坏 - 重建动态用于记忆回放类增量学习

Aug, 2023

平衡的破坏 - 重建动态用于记忆回放类增量学习

Balanced Destruction-Reconstruction Dynamics for Memory-replay Class Incremental Learning

Yuhang Zhou, Jiangchao Yao, Feng Hong, Ya Zhang, Yanfeng Wang

TL;DR通过平衡当前阶段的样本和内存中保存的样本的贡献，提出了一种新的平衡破坏与重建模块（BDR），用于记忆回放的类增量学习（CIL），通过减少旧知识的最大破坏程度，可以实现更好的知识重建。实验证明，作为一种轻量级即插即用模块，BDR 能显著提高现有最先进方法的性能，并具有良好的泛化能力。

Abstract

class incremental learning (CIL) aims to incrementally update a trained model with the new classes of samples (plasticity) while retaining previously learned ability (stability). To address the most challenging issue in this goal, i.e., →

class incremental learning catastrophic forgetting memory-replay cil balanced destruction-reconstruction module knowledge reconstruction

发现论文，激发创造

抵御类增量学习中的不平衡遗忘

通过对回放类增量学习中发现的精度不平衡现象进行研究，我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法，该方法可以无缝地集成到现有的回放类增量学习方法中，并通过广泛的实验证明了其有效性。

Mar, 2024

动态残差分类器用于类增量学习

广泛使用的排练策略可通过保留先前任务的有限示例来缓解课内增量学习中的灾难性遗忘问题。本研究展示了课内增量学习中动态数据不平衡的特点，并提出了一种新颖的动态残差分类器（DRC）来处理这种具有挑战性的情况。

Aug, 2023

增强一致性与减轻偏见：一种用于增量学习的数据回放方法

提出了一种通过量化数据一致性并引入新的损失函数来改进数据回放及类别增量学习的方法。在实验证明比以前的方法有更好的性能。

Jan, 2024

在类增量学习中提取数据的因果效应

本文提出了一个因果框架，解释了类增量学习中的灾难性遗忘的原因，并提出了一种新的蒸馏方法，该方法与现有的抗遗忘技术（例如数据回放和特征 / 标签蒸馏）正交。在这个框架下，我们发现特征 / 标签蒸馏虽然存储效率高，但其因果效应与端到端特征学习的优点不相符，而数据回放则能够保留此效应，因此我们建议使用基于 Colliding Effect 的因果蒸馏方法，在不损失回放存储的情况下，实现类增量学习中的遗忘效应的缓解。实验结果表明该方法能够显著提高目前各类增量学习方法的性能。

Mar, 2021

IB-DRR: 带信息反馈离散表示重放的增量学习

通过使用分层矢量量化变分自编码器（VQ-VAE）和 bits-back 的不对称数字系统（BB-ANS）进行编码压缩，在对比学习的损失下利用真实实例进行信息回传机制（IB），并将所有已看到的示例表示为‘codes’的格式，从而提高了 CIFAR-100 数据集上 Discrete Representation Replay（DRR）的准确性，实现了递增学习和基于回放的递增学习的信息存储的效率。

Apr, 2021

图像分类的内存高效类增量学习

本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

Aug, 2020

从动态不平衡学习的角度重新考虑逐步学习

通过数据不平衡的角度来分析深度神经网络在连续学习新概念时容易出现灾难性遗忘问题，提出了一种名为 Uniform Prototype Contrastive Learning (UPCL) 的方法，通过学习均匀且紧凑的特征来解决动态不平衡问题，并通过在多个基准数据集上的实验验证了其在性能上的优越性。

May, 2024

无数据生成回放的双教师班级增量学习

本文提出两种用于类增量学习的新型知识传输技术：无数据生成式回放（DF-GR）和双教师信息蒸馏（DT-ID），并在 CIFAR-100 和 ImageNet 数据集上表现出性能提升。

Jun, 2021

基於生成回放的評論式學習方法

本研究提出了一种名为 Review Learning 的深度学习连续学习技术，使用神经突触权重中存储的记忆信息生成数据样本，并避免了在数据集转移学习中出现的灾难性遗忘现象，从而在保护数据隐私的前提下，提高了模型的性能表现。在使用三类二分类电子病历数据进行仿真和真实医疗多机构实验验证后，本文表明 Review Learning 能够高效保留之前学习的知识。

Oct, 2022

在类增量学习中平衡因果效应

基于预训练模型的类增量学习中，平衡因果效应的方法（BaCE）通过构建来自新旧数据到新旧类别预测的因果路径，解决了新旧类别之间的因果失衡问题，并在多个任务和设置上优于其他类增量学习方法。

Feb, 2024