通过将真实图片的训练特征提炼到更具信息量的样本中，保持训练梯度的一致性和与过去任务的关联性，我们提出了一种从流式数据中总结知识的方法 (SSD)，并进行了多次实验以支持其有效性，其中包括对限制性内存缓冲下连续 CIFAR-100 的性能提升超过 3%。

May, 2023

本研究提出了一种新的压缩激活重放技术，以中间层激活的重放增强深度模型的正则化效果，它在大规模任务、分裂 - CIFAR 和分裂 - miniImageNet 数据集上均有显着效果。

Oct, 2020

通过使用分层矢量量化变分自编码器（VQ-VAE）和 bits-back 的不对称数字系统（BB-ANS）进行编码压缩，在对比学习的损失下利用真实实例进行信息回传机制（IB），并将所有已看到的示例表示为‘codes’的格式，从而提高了 CIFAR-100 数据集上 Discrete Representation Replay（DRR）的准确性，实现了递增学习和基于回放的递增学习的信息存储的效率。

Apr, 2021

研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

Aug, 2021

研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

Jan, 2021

通过对常用的蓄水池采样方法与其他替代人群策略进行比较，本研究旨在解决连续学习中选择最具信息价值样本和确定最优存储样本数量的问题，并提供了相关的详细分析。

Aug, 2023

本论文提出了一种新的框架，通过图像压缩来增强连续机器学习中缓冲区的容量，包括预处理数据压缩步骤和高效的压缩率 / 算法选择方法，通过在 CIFAR-100 和 ImageNet 数据集上进行广泛实验，证明了该方法在连续机器学习环境中显著提高了图像分类的准确性。

Mar, 2024

本篇文章探讨了如何通过回放记忆的方式来解决深度神经网络在连续学习时的 “灾难性遗忘” 问题，并对各种取样策略下回放数据的效率、性能和可伸缩性进行了深入评估，最终提供了一个针对各种数据分布选择回放方法的实用解决方案。

Aug, 2022

基于回顾的持续学习在深度神经网络中被广泛研究，然而在脉冲神经网络中的应用尚未深入探索。本文介绍了第一种用于脉冲神经网络的内存高效实现的潜在重放（LR）- 基于回顾持续学习，旨在与资源受限设备无缝集成。实验结果表明，在 Heidelberg SHD 数据集上进行的示例和类增量任务中，Top-1 准确率分别达到 92.5％和 92％，而不会忘记先前学到的信息。此外，通过应用时间域压缩，我们将 LR 的存储要求减少了两个数量级，并且与简单的回顾设置相比，最大准确率下降仅为 4％。在多类增量任务中，我们的脉冲神经网络从初始的 10 个类别学习了 10 个新类别，最终在完整测试集上达到了 78.4％的 Top-1 准确率。

May, 2024

提出了一种通过量化数据一致性并引入新的损失函数来改进数据回放及类别增量学习的方法。在实验证明比以前的方法有更好的性能。

Jan, 2024