Jan, 2023

动态模块化和稀疏的通用持续学习

PDF
TL;DR本文研究了基于重复练习的持续学习方法对于解决深度神经网络在面对非稳态数据时产生的遗忘问题的有效性，并引入 brain sparse coding 中的动态模块化与稀疏性 (Dynamos) 来解决任务干扰问题。研究结果表明 Dynamos 在多组数据集上的表现均好，并且所学习的特征表现出模块化和专业化的特点，同时具有重用性。
deep neural networkscatastrophic forgettingrehearsal-based methodsdynamic modularity and sparsitycontinual learning
发现论文，激发创造
  • 基于神经激活空间零维度的稀疏性和异构丢失对连续学习的影响

    本文提出了两种生物启发机制，基于稀疏性和异构 dropout，显著提高了连续学习者在长时间序列任务中的表现，并在多项基准连续学习问题上展示了重大的性能提升。

    Mar, 2022

  • 双存储系统中的稀疏编码用于终身学习

    本文探讨人类的高效持续学习如何通过多个记忆系统的神经生理机制和相互作用来实现，同时介绍了一种基于稀疏编码和多重记忆回放机制的神经网络模型，该模型可以减少遗忘。

    Dec, 2022

  • 学习记忆：一种突触可塑性驱动的连续学习框架

    介绍了一种基于神经突触可塑性的动态生成记忆模型，该模型在连续学习中实时调整神经网络架构，应用于视觉分类任务中，旨在解决老知识保留和模型容量扩展的问题。

    Apr, 2019

  • 稀疏分布式内存是一种连续学习器

    使用稀疏分布式记忆连接核心神经回路与 Transformer 模型，创造了一种修改的多层感知器，该算法可有效解决人工神经网络所面临的连续学习问题，并广泛适用于训练稀疏网络。

    Mar, 2023

  • 深度生成式双重记忆网络用于持续学习

    本研究提出了一种双重记忆架构模拟人类大脑的海马体和新皮层系统，通过经验的生成重放的记忆巩固，避免神经网络在顺序任务中的灾难性遗忘现象，进而实现连续学习并展示出哺乳类记忆的很多特征。

    Oct, 2017

  • 高效的非回忆式零遗忘连续学习：自适应权重调节

    通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

    Nov, 2023

  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019

  • 在连续学习中通过动态内存缓解灾难性遗忘

    本研究介绍了一种使用动态内存来适应医学影像中不断变化的数据漂移及应对灾难性遗忘效应的机器学习算法，并在两种不同扫描协议的临床 CT 数据和合成分类任务中进行了实验验证。实验表明，动态内存能有效对抗多个数据漂移设置下的灾难性遗忘，并不需要显式的知识来识别这些漂移发生的时间。

    Jul, 2020

  • 混合脉冲神经网络的持续学习中的神经通路自适应重组

    基于大脑启发的自适应神经路径重组的持续学习算法，在增量任务中通过自组织调控网络资源以有效应对多样化的认知任务，表现出卓越的性能、能量消耗和内存容量。具备学习更复杂任务、整合过去学习知识以及自我修复能力的特点。

    Sep, 2023

  • 基于稀疏神经动力学的模型控制

    使用深度神经网络从观测中学习预测模型是解决现实世界规划和控制问题的一种有前景的新方法。本文提出了一个新的集成模型学习和预测控制框架，通过逐渐稀疏化神经网络以有效优化算法进行端到端的优化，从而在保证预测准确性的基础上取得更好的闭环控制性能。

    Dec, 2023