Jun, 2022

突触巩固和体验回放在通用持续学习中的协同作用

PDF
TL;DR该研究提出了一种基于 SYNaptic consolidation 和 dual memory experience replay 的通用 CL 方法，通过维护语义记忆来实现跨任务信息的累积和巩固，并结合突触巩固以实现高效的连续学习，不需要使用任务标签。
continual learningsynaptic consolidationdual memory experience replaymemory systemsneural networks
发现论文，激发创造
  • 快速学习、慢速学习：基于互补学习系统的一种通用持续学习方法

    提出 CLS-ER，一种双重记忆体验重放的方法，有助于在学习新知识的同时保留和补充先前的知识记忆，从而实现深度神经网络的持续学习。

    Jan, 2022

  • 强化经验重放的连续学习

    本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

    May, 2023

  • TriRE: 持续知识保留和推进的多机制学习范式

    借鉴大脑同时利用多种机制的方式，我们提出了 TriRE，一种新的持续学习范式，它包括保留每个任务最突出的神经元，修订和巩固当前和过去任务的提取知识，以及通过回溯和重新学习促进次要活跃神经元用于后续任务。在持续学习设置中，TriRE 显著减少了任务干扰，并超过了考虑独立评估的不同持续学习方法。

    Oct, 2023

  • 基于显著性导向的隐藏联想回放用于持续学习

    这篇研究论文介绍了一种用于持续学习的新框架，它将关联记忆与回放策略相结合，通过稀疏内存编码归档显著的数据片段，并引入面向内容的记忆检索机制，通过实验证明了该方法在各种持续学习任务中的有效性。

    Oct, 2023

  • 唤醒 - 睡眠综合学习

    利用 “Wake-Sleep Consolidated Learning” 学习策略，结合互补学习系统理论和人脑清醒 - 睡眠阶段，提高深度神经网络在连续学习环境下进行视觉分类任务的性能。

    Dec, 2023

  • 关于连续学习中微小情节记忆的研究

    该研究实证分析了在连续学习过程中，引入极小的叙事性记忆在任务之间转移知识的有效性，并发现相较于特定的连续学习方法，该方法能利用极小的记忆显著提升泛化能力，对小样本问题有一定的启示。

    Feb, 2019

  • 持续学习，快和慢

    本文中，我们提出了一种名为 DualNets 的深度学习框架，该框架结合了快速学习和慢速学习系统，通过监督学习和自监督学习的方式，实现低成本、高效率地同时保留模式分离型表征和任务不可知通用表征的方法。我们在多项实验中，通过标准的离线任务感知设置以及具有挑战性的在线任务无关场景中充分验证了该框架的可行性和有效性，同时公开代码供参考。

    Sep, 2022

  • 学习记忆：一种突触可塑性驱动的连续学习框架

    介绍了一种基于神经突触可塑性的动态生成记忆模型，该模型在连续学习中实时调整神经网络架构，应用于视觉分类任务中，旨在解决老知识保留和模型容量扩展的问题。

    Apr, 2019

  • DualNet: 持续学习，快和慢

    基于补充学习系统理论的启示，我们提出了一种名为 “DualNet” 的新型连续学习框架，其中包括一个快速学习系统和一个慢速学习系统，分别用于有着特定任务的监督学习和无任务的非监督学习。经实验验证，该方法优于现有的方法，并验证了其有效性、稳健性和可伸缩性。

    Oct, 2021

  • 连续学习的统一通用框架

    该研究提出了一个统一框架来解决连续学习中的灾难性遗忘问题，并引入了一种创新的概念 —— 刷新学习，通过重新学习当前数据来提高学习性能，在连续学习基准测试和理论分析中取得了有效的结果。

    Mar, 2024