May, 2023

SHARP: 基于稀疏性和隐藏激活重播的神经启发式连续学习

PDF
TL;DR提出了一种神经启发的连续学习（CL）方法（SHARP），该方法利用稀疏动态连接和激活重播来解决现有的重播方法忽略生物重播的两个关键方面的问题。 实验证明，SHARP 在类增量学习方面优于现有的重播方法。
deep neural networkscontinual learningreplayneuro-inspiredsparse dynamic connectivity
发现论文，激发创造
  • 基于显著性导向的隐藏联想回放用于持续学习

    这篇研究论文介绍了一种用于持续学习的新框架，它将关联记忆与回放策略相结合，通过稀疏内存编码归档显著的数据片段，并引入面向内容的记忆检索机制，通过实验证明了该方法在各种持续学习任务中的有效性。

    Oct, 2023

  • 基于压缩潜在重放的轻量级脉冲神经网络的持续学习

    基于回顾的持续学习在深度神经网络中被广泛研究，然而在脉冲神经网络中的应用尚未深入探索。本文介绍了第一种用于脉冲神经网络的内存高效实现的潜在重放（LR）- 基于回顾持续学习，旨在与资源受限设备无缝集成。实验结果表明，在 Heidelberg SHD 数据集上进行的示例和类增量任务中，Top-1 准确率分别达到 92.5％和 92％，而不会忘记先前学到的信息。此外，通过应用时间域压缩，我们将 LR 的存储要求减少了两个数量级，并且与简单的回顾设置相比，最大准确率下降仅为 4％。在多类增量任务中，我们的脉冲神经网络从初始的 10 个类别学习了 10 个新类别，最终在完整测试集上达到了 78.4％的 Top-1 准确率。

    May, 2024

  • 混合脉冲神经网络的持续学习中的神经通路自适应重组

    基于大脑启发的自适应神经路径重组的持续学习算法，在增量任务中通过自组织调控网络资源以有效应对多样化的认知任务，表现出卓越的性能、能量消耗和内存容量。具备学习更复杂任务、整合过去学习知识以及自我修复能力的特点。

    Sep, 2023

  • 实时连续学习的潜在回放

    本文提出了一种称为 “隐式回放” 的技术，该技术可以在边缘计算和嵌入式设备上有效地训练复杂的神经网络模型，并利用连续学习技术实现了较高的自适应性和自主性。我们的实验表明，结合现有的连续学习技术，隐式回放在复杂视频基准测试方面取得了最先进的性能，并且在智能手机上部署该技术可以实现几乎实时的连续学习。

    Dec, 2019

  • SparCL：边缘稀疏持续学习

    本文提出了一种名为 Sparse Continual Learning（SparCL）的新框架，通过权重稀疏性、数据效率和梯度稀疏性的协同作用来实现训练加速和准确性保持，并且在资源受限的环境下，基于稀疏性的连续学习可以实现成本效益。

    Sep, 2022

  • 强化经验重放的连续学习

    本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

    May, 2023

  • 脑启发式的持续学习 - 面向类别增量学习的鲁棒特征蒸馏和重新巩固

    通过从神经科学和现有的对抗性和持续学习研究的洞见中获得灵感，我们引入了一个新的框架，名为 Robust Rehearsal，通过特征精炼和再巩固的核心概念，解决了持续学习系统中的灾难性遗忘挑战，从而通过学习任务中的精炼体验重现和过去体验的整合来模拟记忆再巩固，为恢复性遗忘提供了有前景的解决方案，为更健壮和类人的人工智能系统铺平了道路。

    Apr, 2024

  • 利用连续学习技术加速批量主动学习

    本研究提出 Continual Active Learning（CAL）的概念，结合现有和新开发的基于回放的多样化技术，能有效解决 Active Learning 中重新训练以及忘记旧数据等问题，从而能在保持性能的同时大幅度减小训练时间。

    May, 2023

  • 动态模块化和稀疏的通用持续学习

    本文研究了基于重复练习的持续学习方法对于解决深度神经网络在面对非稳态数据时产生的遗忘问题的有效性，并引入 brain sparse coding 中的动态模块化与稀疏性 (Dynamos) 来解决任务干扰问题。研究结果表明 Dynamos 在多组数据集上的表现均好，并且所学习的特征表现出模块化和专业化的特点，同时具有重用性。

    Jan, 2023

  • 动态稀疏训练下的持续学习：探索有效模型更新算法

    连续学习是指智能系统在尽可能少的计算开销下，从数据流中顺序获取和保留知识的能力。本研究通过对 Dynamic Sparse Training (DST) 的不同组成部分在连续学习范式下的影响进行了首次实证研究，以填补重要的研究空白并为连续学习中 DST 的最佳配置提供清晰的指导。通过在著名的 CIFAR100 和 miniImageNet 基准测试数据集上进行全面的研究，研究人员发现在低稀疏度水平下，Erdos-Renyi Kernel (ERK) 初始化能更有效地利用主干网络并实现任务增量的有效学习，而在高稀疏度水平下，均匀初始化展现出更可靠和稳健的性能。对于增长策略，性能取决于定义的初始化策略和稀疏度程度。最后，DST 组成部分内的适应性是提升连续学习效果的有希望的方法。

    Aug, 2023