基于时间感知正则化的生成式经验回放的类增量学习

Oct, 2023

基于时间感知正则化的生成式经验回放的类增量学习

Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization

Zizhao Hu, Mohammad Rostami

TL;DR在严格的条件下，通过使用生成回放、模型大小控制、时态正则化等方法，本研究提出了一种脑启发式的持续学习方法，以解决累积学习中遗忘问题，并在重要基准测试中取得了较好的实验结果。

Abstract

Learning new tasks accumulatively without forgetting remains a critical challenge in continual learning. generative experience replay addresses this challenge by synthesizing pseudo-data points for past learned t

continual learning generative experience replay model size time-aware regularization brain-inspired continual learners

发现论文，激发创造

生成回放与反馈连接作为连续学习的通用策略

本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

Sep, 2018

深度生成回放的持续学习

本文提出一种新的深度学习框架 Deep Generative Replay 来解决在实现万能人工智能时的一个长期问题：灾难性遗忘。通过引入灵感于灵长类大脑海马体的短期记忆系统，在该框架中包含一个生成模型和一个任务求解模型，并在图像分类任务中进行了相关实验和测试。

May, 2017

基于正交权重修改的生成特征重放用于持续学习

该论文提出了一种用于设定特定任务的连续学习方法，通过增加生成预定数据和发展新的自我监督技术，得到了比传统生成回放更好的结果，并以多个数据集进行实验来说明该方法的有效性。

May, 2020

增强回放的连续强化学习

RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

Nov, 2023

经验回放用于连续学习

本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

Nov, 2018

封闭循环记忆 GAN 用于连续学习

本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

Nov, 2018

基于生成分类器的类别增量学习

通过生成式分类方法来实现增量学习，利用变分自编码器进行实现，在多项延续学习基准测试中表现优异。

Apr, 2021

生成式特征重放用于类增量学习

对于神经网络中的灾难性遗忘问题和老新类别不均衡问题，本文提出了一种基于生成式特征回放和特征蒸馏的解决方案，可以不使用明显的旧任务样本，在 CIFAR-100 和 ImageNet 等数据集上实现了最先进的结果，存储空间成本低。

Apr, 2020

基於生成回放的評論式學習方法

本研究提出了一种名为 Review Learning 的深度学习连续学习技术，使用神经突触权重中存储的记忆信息生成数据样本，并避免了在数据集转移学习中出现的灾难性遗忘现象，从而在保护数据隐私的前提下，提高了模型的性能表现。在使用三类二分类电子病历数据进行仿真和真实医疗多机构实验验证后，本文表明 Review Learning 能够高效保留之前学习的知识。

Oct, 2022

t-DGR：一种基于轨迹的连续决策深度生成回放方法

深度生成回放在决策任务的连续学习中作为一种有希望的方法出现。本文提出了一种简单、可伸缩且非自回归的方法，使用生成模型根据轨迹时间步生成任务样本来解决遗忘问题，并在持续世界基准测试中达到了最先进的性能。

Jan, 2024