渐变周期性记忆用于连续学习
本文从优化的角度提供了基于情节记忆方法的两种改进方案 MEGA-I 和 MEGA-II,这两个方案通过将当前梯度与在情节记忆上计算的梯度相结合,调节旧任务和新任务之间的平衡,并通过新的损失平衡更新规则,极大地提高了性能,在四个常用的终身学习基准测试中,将误差降低 18%。
Sep, 2019
本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆,来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明,该模型持续胜过最近提出的基线方法,用于无任务的持续学习。
Jul, 2020
该研究实证分析了在连续学习过程中,引入极小的叙事性记忆在任务之间转移知识的有效性,并发现相较于特定的连续学习方法,该方法能利用极小的记忆显著提升泛化能力,对小样本问题有一定的启示。
Feb, 2019
本论文提出了一种称之为强化连续学习的方法,该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构,不仅能够在防止灾难性遗忘方面有很好的性能,还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中,该方法优于现有的深度网络连续学习替代方案。
May, 2018
我们提出了一种新的记忆管理策略 Rainbow Memory(RM),该策略基于逐样本分类的不确定性和数据增强,旨在增强记忆中的样本多样性,并在 MNIST,CIFAR10,CIFAR100 和 ImageNet 数据集上进行了广泛的实证验证,证明了该方法在模糊的继续学习设置中显著提高了准确性,虽然方法简单但超越了目前技术水平。
Mar, 2021
本文提出了一种更综合全面的衡量连续学习算法的方法,包括准确性、知识转移、内存占用和计算效率等多方面的度量,并将这些度量融合成一个评分,通过评估五种算法在 iCIFAR-100 数据集上的表现来证明这种方法的优越性。
Oct, 2018
我们提出了一种新的回放策略,称为 Manifold Expansion Replay (MaER),通过扩展知识表示的隐含流形,改善模型的鲁棒性和表达能力,以解决在学习新任务过程中由于老知识和新知识之间不平衡导致的灾难性遗忘问题。我们通过对 MNIST、CIFAR10、CIFAR100 和 TinyImageNet 进行广泛实验验证,表明提出的方法在继续学习设置中显著提高了准确性,优于现有技术水平。
Oct, 2023
本文提出了一种名为 Gradient based Memory EDiting (GMED) 的基于梯度更新的框架,以在连续输入空间中编辑存储的示例,旨在为回放创建更具挑战性的示例,以克服灾难性遗忘,并验证了该方法的有效性,是一种新颖的无任务边界或标识的任务自由继续学习方法。
Jun, 2020
本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案,并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明,在使用动态内存单元的条件下,该方案在处理硬任务学习方面具有很高的性能增长。
Nov, 2018