Sep, 2022

持续学习，快和慢

PDF
TL;DR本文中，我们提出了一种名为 DualNets 的深度学习框架，该框架结合了快速学习和慢速学习系统，通过监督学习和自监督学习的方式，实现低成本、高效率地同时保留模式分离型表征和任务不可知通用表征的方法。我们在多项实验中，通过标准的离线任务感知设置以及具有挑战性的在线任务无关场景中充分验证了该框架的可行性和有效性，同时公开代码供参考。
complementary learning systemsdualnetscontinual learningsupervised learningself-supervised learning
发现论文，激发创造
  • DualNet: 持续学习，快和慢

    基于补充学习系统理论的启示，我们提出了一种名为 “DualNet” 的新型连续学习框架，其中包括一个快速学习系统和一个慢速学习系统，分别用于有着特定任务的监督学习和无任务的非监督学习。经实验验证，该方法优于现有的方法，并验证了其有效性、稳健性和可伸缩性。

    Oct, 2021

  • 快速学习、慢速学习：基于互补学习系统的一种通用持续学习方法

    提出 CLS-ER，一种双重记忆体验重放的方法，有助于在学习新知识的同时保留和补充先前的知识记忆，从而实现深度神经网络的持续学习。

    Jan, 2022

  • 一种补充学习系统方法的时序差分学习应用

    本文提出了一种结合 DNN 和 SOM 的算法，即 CTDL，该算法融合了 neocortical 和 hippocampal 两个系统的优点，使用 TD 误差更新 SOM，并结合 SOM 和 DNN 计算动作值，实验证明了相比于经典的 DQN 方法，CTDL 在格子地图和 Cart-Pole 环境下有较多的优势，证明了互补学习系统对行为评估的有用性、TD 误差信号在两个系统之间的传递和所提出方法的生物学可行性。

    May, 2019

  • 互动式连续学习：快思和慢思

    基于互动持续学习框架，使用大型语言模型与记忆检索机制，以及模型之间的协作交互，实现抵抗遗忘和优越性能的持续学习。

    Mar, 2024

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 深度生成式双重记忆网络用于持续学习

    本研究提出了一种双重记忆架构模拟人类大脑的海马体和新皮层系统，通过经验的生成重放的记忆巩固，避免神经网络在顺序任务中的灾难性遗忘现象，进而实现连续学习并展示出哺乳类记忆的很多特征。

    Oct, 2017

  • 唤醒 - 睡眠综合学习

    利用 “Wake-Sleep Consolidated Learning” 学习策略，结合互补学习系统理论和人脑清醒 - 睡眠阶段，提高深度神经网络在连续学习环境下进行视觉分类任务的性能。

    Dec, 2023

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 使用互补记忆系统进行开放词汇分类中的持续学习

    本文提出了一种基于树探针机制的灵活持续学习方法，在图片分类领域获得了较好的学习速度和效果以及弹性推理能力。

    Jul, 2023

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019