借助生成性重放的扩散模型的生成蒸馏方法，可以显着提升持续学习性能，只需适度增加计算成本。

Nov, 2023

本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

Jun, 2023

本研究评估扩散模型的连续学习特性，通过给 Denoising Diffusion Probabilistic Models （DDPMs）应用经验重放，发现一定程度的遗忘可以被减少，但在扩散步数上，其表现多种多样。同时揭示使用 bits-per-dimension 指标评估 CL 时的某些问题。

Mar, 2023

本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

Nov, 2018

本研究提出了一种名为 Review Learning 的深度学习连续学习技术，使用神经突触权重中存储的记忆信息生成数据样本，并避免了在数据集转移学习中出现的灾难性遗忘现象，从而在保护数据隐私的前提下，提高了模型的性能表现。在使用三类二分类电子病历数据进行仿真和真实医疗多机构实验验证后，本文表明 Review Learning 能够高效保留之前学习的知识。

Oct, 2022

连续条件生成建模（CCGM）是一种基于标量连续变量（称为回归标签）的高维数据（通常为图像）的分布估计方法。现有的条件扩散模型（CDMs）在应用于 CCGM 任务时面临着多种挑战，本文介绍了第一种专为 CCGM 任务设计的连续条件扩散模型（CCDMs），通过引入特别设计的条件扩散过程、修改的去噪 U-Net 与自定义的条件机制、新型的硬邻近损失以及高效的条件采样过程，CCDMs 克服了现有 CDMs 的限制，基于四个不同分辨率（从 64x64 到 192x192）的数据集进行的全面实验证明了 CCDMs 相对于最先进的 CCGM 模型的优越性，建立了 CCGM 领域的新基准。广泛的消融研究验证了提出的 CCDM 的模型设计和实施配置。我们的代码公开在此 https URL。

May, 2024

引入了 GUIDE，一种新颖的连续学习方法，通过指导扩散模型在遗忘风险的样本上进行重复训练来解决灾难性遗忘的问题。该方法通过将扩散模型与分类器指导技术相结合，产生具有针对性的训练样本，从而减少了灾难性遗忘和充分利用了生成重放在连续学习中的能力。

Mar, 2024

本研究提出了一种名为稳定扩散深度生成重放（SDDGR）的新方法，它利用基于扩散的生成模型和预训练的文本到扩散网络生成逼真多样的合成图像，通过迭代优化策略生成高质量包含旧类别的图像，并采用 L2 知识蒸馏技术提高合成图像中先前知识的保存，并在新任务图像中利用伪标记技术对旧对象进行预测，防止其被误分类为背景元素。实验结果表明，SDDGR 在各种类别增量目标检测场景中显著优于现有算法，达到了最新的技术水平。源代码将向公众提供。

Feb, 2024

本文提出一种新的深度学习框架 Deep Generative Replay 来解决在实现万能人工智能时的一个长期问题：灾难性遗忘。通过引入灵感于灵长类大脑海马体的短期记忆系统，在该框架中包含一个生成模型和一个任务求解模型，并在图像分类任务中进行了相关实验和测试。

May, 2017

该论文探讨了如何利用能量基模型（EBMs）来实现 fine-tuning，提出了条件分布策略梯度（CDPG）用于解决基于条件任务的 fine-tuning，结果显示 CDPG 确实可以在不毁掉预训练模型通用能力的情况下，帮助模型更好地适应特定任务的需求。

Dec, 2021