Sep, 2023

混合脉冲神经网络的持续学习中的神经通路自适应重组

PDF
TL;DR基于大脑启发的自适应神经路径重组的持续学习算法，在增量任务中通过自组织调控网络资源以有效应对多样化的认知任务，表现出卓越的性能、能量消耗和内存容量。具备学习更复杂任务、整合过去学习知识以及自我修复能力的特点。
continual learningneural pathwaysadaptive reorganizationspiking neural networkbackward transfer
发现论文，激发创造
  • 使用动态结构改进高效持续学习的尖峰神经网络发展

    我们提出了一种动态结构发展的脉冲神经网络 (DSD-SNN) 模型，通过动态地分配和增长神经元，并删除多余神经元，提高内存容量，减少计算开销，实现高效自适应的连续学习。我们的模型在多类增量学习和任务增量学习方面验证了其有效性，显著提升性能、学习速度和内存容量，同时在与现有方法的比较中，与基于深度神经网络 (DNNs) 的方法具有可比较的性能，并且明显优于基于脉冲神经网络 (SNNs) 的现有方法的性能。

    Aug, 2023

  • 基于脉冲神经网络的贝叶斯连续学习

    本文提出了一种基于贝叶斯持续学习框架，以及在线学习规则用于进行神经形态工程，以实现能够适应变化学习任务的特性和风险管理，同时产生良好校准的不确定性估计的真正的神经形态系统的设计。

    Aug, 2022

  • 自适应稀疏结构的剪枝和再生在脉冲神经网络中的应用

    本文提出了一种适应性结构发展的 SNN 方法，引入树突棘突触可塑性、神经元修剪和突触再生，通过神经元修剪、突触限制和突触再生等机制，检测和移除了 SNN 的大量冗余，实现了优化压缩并降低网络能耗。在实验中表明，该方法可以在不同任务中学习适当的压缩率并显著降低网络能耗。

    Nov, 2022

  • 探索尖峰神经网络中的连续学习

    通过比较传统模型和第三代机器学习模型（也称为脉冲神经网络架构）的连续学习能力，本研究发现脉冲神经网络模型在保留之前类别信息方面表现更优，但仍需要进行更多工作。

    Oct, 2023

  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 基于生物启发架构的持续学习任务性能改进

    使用生物学原理进入机器学习模型，我们开发了一种轻量级神经网络结构，通过突触可塑性机制和神经调制，通过本地错误信号进行在线继续学习，从而改善了传统方法的稳定性和记忆限制，在 Split-MNIST，Split-CIFAR-10 和 Split-CIFAR-100 数据集上表现出更好的在线继续学习性能，并在基于回放的方法上达到最先进的记忆密集型方法的性能水平，进一步通过将关键设计概念整合到其他反向传播的继续学习算法中，显著提高了它们的准确性。

    Aug, 2023

  • 基于海布学习的正交投影，用于脉冲神经网络的持续学习

    基于侧向连接和赫比学习的神经操作提供对脑回路的新见解，并展示了如何在神经系统中实现正交投影，由此解决了关于神经形态计算的遗忘问题。

    Feb, 2024

  • 多时间尺度脉冲循环神经网络的高效计算

    该研究介绍了一种新型自适应尖峰循环神经网络，能够在边缘人工智能硬件上实现比其他尖峰神经网络更高的性能，几乎达到或超过经典递归神经网络的性能，并展示了在更难的任务上超过经典递归神经网络的 $>$100 倍能量改进。

    May, 2020

  • 基于神经仿生无任务无监督在线学习的自维持映射模型

    持续学习中的难题是灾难性遗忘，特别是在人工神经网络（ANNs）等无监督架构中，我们提出了一种称为连续自组织映射（CSOM）的泛化模型来解决这一问题。CSOM 在低内存预算下实现在线无监督学习，在多个基准测试中获得了准确性提高近两倍以及用于自动类别增量学习设置的最新技术成果。

    Feb, 2024

  • 自适应脉冲循环神经网络精确高效的时间域分类

    本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络，将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平，并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级，从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。

    Mar, 2021