May, 2024

对抗性多样化记忆回放（ADRM）：在连续学习中缓解记忆过度拟合问题

PDF
TL;DR通过引入 Adversarially Diversified Rehearsal Memory (ADRM) 方法来解决记忆过拟合问题，ADRM 使用 FGSM 攻击来增加记忆样本的多样性，使得连续学习模型能够更加鲁棒地应对特征漂移和避免灾难性遗忘。
continual learningcatastrophic forgettingrehearsal memory overfittingadversarially diversified rehearsal memory (adrm)feature drifts
发现论文，激发创造
  • 连续学习中的自适应记忆回放

    基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达 10%。

    Apr, 2024

  • 对抗性鲁棒基于记忆的持续学习器

    对记忆型持续学习算法的对抗鲁棒性进行研究，提出了一种新的对抗鲁棒记忆型持续学习方法，通过调整数据的逻辑值来减轻敌对样本导致的过去信息遗忘，并通过梯度选择机制克服有限存储数据导致的梯度混淆，实验结果表明该方法在对抗数据上取得高达 8.13% 的更高准确性。

    Nov, 2023

  • 对抗性训练中的记忆研究

    研究表明，深度学习模型具有记忆整个训练集的倾向，通过对对抗训练（AT）中记忆效应的探索，揭示了模型容量、收敛、泛化和特别是对抗性训练模型的鲁棒过拟合等问题，提出了一种减缓鲁棒过拟合的算法，并通过各种数据集上的广泛实验验证了该算法的有效性。

    Jun, 2021

  • 随机遗忘对强健泛化的有效性

    通过引入一种名为 “忘却以减轻过拟合（FOMO）” 的新型学习范式，交替进行随机遗忘权重子集和重新初始化权重的调节，以及强调学习可泛化特征的学习阶段，FOMO 成功缓解了强健过拟合问题，显著减小了最佳和最后的强健测试准确率之间的差距，并提高了最先进的鲁棒性，在标准准确性和鲁棒准确性之间提供了更好的权衡正。此外，FOMO 对 AutoAttacks 具有鲁棒性，并在许多实际情境中提高了泛化能力。

    Feb, 2024

  • 类原型条件扩散模型用于生成回放的持续学习

    通过生成模型提高图像质量以减少分类器中的灾难性遗忘，我们提出了基于类原型的条件扩散模型（CPDM），它通过在扩散模型的去噪过程中集成可学习的类原型来保持图像生成质量，并缓解了灾难性遗忘的风险。

    Dec, 2023

  • DMAD：面向现实世界异常检测的双重内存库

    通过使用统一的模型，提出了一种名为 Dual Memory bank enhanced representation learning for Anomaly Detection (DMAD) 的新框架，该框架处理了无监督和半监督场景，通过双重存储器来计算正常和异常模式之间的特征距离和特征注意力，从而构建了用于异常分数学习的增强表示。通过在 MVTec-AD 和 VisA 数据集上的评估，结果表明 DMAD 超越了当前最先进的方法，突显了 DMAD 在处理复杂的实际异常检测场景中的能力。

    Mar, 2024

  • 记忆重播生成对抗网络：学习生成新类别图像而不遗忘

    本文针对生成模型中的遗忘问题，提出了一种称作 Memory Replay GANs (MeRGANs) 的有条件生成对抗网络框架，通过集成记忆重现生成器来缓解前几类的遗忘，在 MNIST、SVHN 和 LSUN 数据集上的实验结果表明，该记忆重现方法能够生成较竞争力的图像，同时显著减轻遗忘的前几类。

    Sep, 2018

  • 基于梯度的记忆样例编辑技术，实现在线无任务连续学习

    本文提出了一种名为 Gradient based Memory EDiting (GMED) 的基于梯度更新的框架，以在连续输入空间中编辑存储的示例，旨在为回放创建更具挑战性的示例，以克服灾难性遗忘，并验证了该方法的有效性，是一种新颖的无任务边界或标识的任务自由继续学习方法。

    Jun, 2020

  • 脑启发式的持续学习 - 面向类别增量学习的鲁棒特征蒸馏和重新巩固

    通过从神经科学和现有的对抗性和持续学习研究的洞见中获得灵感，我们引入了一个新的框架，名为 Robust Rehearsal，通过特征精炼和再巩固的核心概念，解决了持续学习系统中的灾难性遗忘挑战，从而通过学习任务中的精炼体验重现和过去体验的整合来模拟记忆再巩固，为恢复性遗忘提供了有前景的解决方案，为更健壮和类人的人工智能系统铺平了道路。

    Apr, 2024

  • 通过分布稳健的记忆演化来提升无任务连续学习

    本研究提出了一种基于分布鲁棒优化和 Wasserstein 梯度流的原则性记忆演化框架，用于动态演化内存数据分布，以提高连续学习系统对非平稳数据流的适应性。同时，实验结果表明该方法能够提供更高的鲁棒性和抗干扰性，是一种有效防止遗忘的连续学习方法。

    Jul, 2022