IJCAIAug, 2022

连续学习中重放策略的基准和实证分析

PDF
TL;DR本篇文章探讨了如何通过回放记忆的方式来解决深度神经网络在连续学习时的 “灾难性遗忘” 问题，并对各种取样策略下回放数据的效率、性能和可伸缩性进行了深入评估，最终提供了一个针对各种数据分布选择回放方法的实用解决方案。
continual learningcomputational systemsdeep neural networkscatastrophic forgettingmemory replay methods
发现论文，激发创造
  • 经验回放用于连续学习

    本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

    Nov, 2018

  • 提升连续学习中的回放样本选择和存储，减少遗忘

    通过对常用的蓄水池采样方法与其他替代人群策略进行比较，本研究旨在解决连续学习中选择最具信息价值样本和确定最优存储样本数量的问题，并提供了相关的详细分析。

    Aug, 2023

  • 增强回放的连续强化学习

    RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

    Nov, 2023

  • 生成回放与反馈连接作为连续学习的通用策略

    本文的主要研究方向是解决人工神经网络在学习新任务时会快速遗忘以前学到的任务而导致无法实现真正的生命周期学习的问题，该文提出了一种新的方法，即基于生成回放的连续学习方法，该方法可以在各种不同的场景下实现优异的性能表现。

    Sep, 2018

  • 选择性经验回放用于终身学习

    本文研究通过经验重放的方法，利用 “distribution matching” 算法来防止深度神经网络多任务学习中的严重忘却问题。实验探索了不同体验选择策略的优缺点，结果表明分布匹配算法可以成功避免严重忘却问题，并且在所有测试领域中始终表现最佳。同时我们发现，当部分任务的重要性比其他任务更高时，最大化状态空间覆盖率是有福利的。

    Feb, 2018

  • CORE：通过认知重播减轻连续学习中的灾难性遗忘

    本文介绍了一种新颖的观点，以显著减轻连续学习中的灾难性遗忘，强调模型保持现有知识和吸收新信息的能力。我们提出了 COgnitive REplay (CORE) 的方法，包括自适应数量分配和质量导向数据选择这两个关键策略。该方法在 split-CIFAR10 上的平均准确率为 37.95%，超过最佳基准方法 6.52%。此外，它还将最差表现任务的准确率相比顶级基准提高了 6.30%。

    Feb, 2024

  • 重新思考经验回放：持续学习的技巧集

    研究了当神经网络被培训在一个时间上变化的数据流时，其面临的 “灾难性遗忘” 问题。本文提出并实验了一种简单的 rehearsal-based 方法，即 Experience Replay，并证明其相对于现有的基于 rehearsal 的方法有了极大的精度提升。

    Oct, 2020

  • 连续学习中的自适应记忆回放

    基于丰富的记忆资源和训练效率的重视，我们引入了一种适应性记忆回放的框架来解决不断学习问题，通过多臂赌博机问题的方法来动态选择训练数据，从而在保持高性能的同时减少了遗忘达 10%。

    Apr, 2024

  • 谨慎行事：规模化持续学习的最佳检索

    通过研究回放方法在连续学习中的应用，本文提出了一种评估选择性检索策略的框架，并评估了多种策略的表现，并提出了防止重放重复的策略，探索是否可以通过学习低损失值的新样本来避免回放。

    Apr, 2024

  • 通过流形扩展回放进行持续学习

    我们提出了一种新的回放策略，称为 Manifold Expansion Replay (MaER)，通过扩展知识表示的隐含流形，改善模型的鲁棒性和表达能力，以解决在学习新任务过程中由于老知识和新知识之间不平衡导致的灾难性遗忘问题。我们通过对 MNIST、CIFAR10、CIFAR100 和 TinyImageNet 进行广泛实验验证，表明提出的方法在继续学习设置中显著提高了准确性，优于现有技术水平。

    Oct, 2023