提出 CLS-ER,一种双重记忆体验重放的方法,有助于在学习新知识的同时保留和补充先前的知识记忆,从而实现深度神经网络的持续学习。
Jan, 2022
研究了当神经网络被培训在一个时间上变化的数据流时,其面临的 “灾难性遗忘” 问题。本文提出并实验了一种简单的 rehearsal-based 方法,即 Experience Replay,并证明其相对于现有的基于 rehearsal 的方法有了极大的精度提升。
Oct, 2020
AdaER 是一种用于解决持续终身学习中的灾难性遗忘挑战的新算法,通过引入 C-CMR 策略和 E-BRS 策略来选择性地重播与当前输入数据最矛盾的记忆,并最大化信息熵以提高记忆缓冲区的性能,进而在实验中表现出优于现有基准方法的持续终身学习效果。
Aug, 2023
通过在 Experience Replay 框架中引入一致性正则化方法,将其作为自监督前提任务,并在各种连续学习场景下进行研究。结果表明,相对严格的一致性约束可以更好地保留以前任务的信息。
Jul, 2022
这篇研究报告总结了 CVPR 2023 年的 CLVision 挑战赛,重点讨论了类增量学习中的数据重复问题,介绍了三个解决方案,实验证明基于模块集成的多版本策略对于利用数据流中的重复性进行持续学习是有效的。该报告强调了通过在数据流中利用重复性来促进创新策略设计的转变潜力。
May, 2024
本研究提出了一种基于经验回放的在线连续学习方法,该方法使用不对称更新规则,使得新类别能够更好地适应先前观察到的类别,并在标准连续学习基准测试中获得显著的性能提升。
Mar, 2022
这篇研究论文介绍了一种用于持续学习的新框架,它将关联记忆与回放策略相结合,通过稀疏内存编码归档显著的数据片段,并引入面向内容的记忆检索机制,通过实验证明了该方法在各种持续学习任务中的有效性。
Oct, 2023
本文提出基于模型的经验选择方案以解决离线强化学习中的经验回放问题和遗忘问题,并进行了实验验证。
May, 2023
研究在线持续学习范式下,使用经验回放(ER)对抗内存与计算约束时,新添加的类别在 ER 下表示的变化,通过实证分析验证减轻高度干扰参数更新的新方法。该方法采用不对称更新规则,有利于在任务边界时避免遗忘。在标准持续学习基准测试中,与强基线方法相比取得了显著提高。
Apr, 2021
本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题,并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。
Nov, 2018