Feb, 2024

面向脉冲神经网络的前向直接反馈对在线梯度估计的应用

PDF
TL;DR在寻找与当前最先进的神经网络训练算法相比更节能的替代方法方面，有一种对脉冲神经网络的兴趣，因为它们可以在神经形态硬件平台上高效模拟能量。然而，这些平台在训练算法设计方面存在限制，最重要的是不能实现反向传播。本文提出了一种新颖的神经形态算法 —— 脉冲前向直接反馈对齐（SFDFA）算法，这是一种将前向直接反馈对齐（Forward Direct Feedback Alignment）用于训练脉冲神经网络的改进方式。SFDFA 算法通过反馈连接来估计输出和隐藏神经元之间的权重。本文的主要贡献在于描述了如何在线获取脉冲的精确局部梯度，同时考虑到突触后脉冲之间的内部神经元依赖关系，并推导了神经形态硬件兼容的动力系统。我们将 SFDFA 算法与一些竞争算法进行比较，并证明了该算法具有更高的性能和收敛速度。
energy efficientspiking neural networkneuromorphic hardwarebackpropagationsfdfa algorithm
发现论文，激发创造
  • 带有稀疏连接的直接反馈对于局部学习的应用

    通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。

    Jan, 2019

  • 通过平衡状态隐式微分训练脉冲神经网络

    提出一种基于反馈脉冲神经网络的训练方法，该方法使用隐式微分计算参数的梯度，从而避免了无法微分的脉冲函数问题，并展示了在 MNIST, Fashion-MNIST, N-MNIST, CIFAR-10 和 CIFAR-100 数据集上测试结果的优越性。

    Sep, 2021

  • DFA-GNN: 直接反馈对齐的图神经网络的前向学习

    通过引入 DFA-GNN 方法以及伪误差生成器，本文提出了一种用于图神经网络的前向学习框架，通过优化网络的反馈链接，克服了 BP 算法的限制，并在半监督学习任务中展现了非常优异的鲁棒性。

    Jun, 2024

  • 使用直接反馈对齐进行高效的卷积神经网络训练

    本文提出了结合 BP 算法的 BDFA 算法，同时提出了反馈权重初始化方法和模式分析技术来维持训练稳定性和最小化计算成本。 实验结果表明，该方法在小数据集环境下表现优异。

    Jan, 2019

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 提高深度脉冲神经网络训练性能的有效方法

    本文介绍了一种新型的深度脉冲神经网络（DSN），它可以直接进行参数训练，不需要先用传统深度神经网络的训练结果来初始化；研究表明，在 DSN 中控制反向路径的膜电位初始值是非常重要的，同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛时间并提高准确性。

    Nov, 2016

  • 前向学习中新兴的 NeoHebbian 动态：对神经形态计算的意义

    通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

    Jun, 2024

  • 基于脉冲的因果推理用于权值对齐

    通过引入脉冲系统处理信息，使得反向传导和前向传输的神经突触权重不相同，解决了生物模型中学习时的权重传递问题，提高了学习表现。

    Oct, 2019

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 提高前馈神经网络在脉冲神经形态芯片中的分类准确性

    使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署，可在以前工作的基础上实现显著提高（76％与 86％准确度）同时保持良好的性能 MNIST 手写数据集。

    May, 2017