Jun, 2024

前向学习中新兴的 NeoHebbian 动态：对神经形态计算的意义

PDF
TL;DR通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。
neural computationgradient backpropagation algorithmbiologically plausible learning algorithmshebbian learning dynamicsneo-hebbian learning rule
发现论文，激发创造
  • 综合正向算法：将正向传递和浅层反向传播与局部损失相结合

    该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

    May, 2023

  • 图神经网络的前向学习

    通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

    Mar, 2024

  • 改进的前向对比学习

    在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

    May, 2024

  • 光学神经网络的前向 - 前向训练

    本文介绍了一种利用光学系统实现神经网络训练的新路径，该方法使用了 Forward-Forward Algorithm 和多模非线性波传播等技术来提高 NN 性能。

    May, 2023

  • 分布式深度学习中的前向 - 前向

    通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别，与人脑的处理机制更加接近，可能提供更有效和符合生物学原理的神经网络训练方法。我们的研究探索了 FF 算法在分布式环境中的实现，重点关注其促进神经网络层的并行训练能力。这种并行性旨在减少训练时间和资源消耗，从而解决当前分布式深度学习系统中存在的一些固有挑战。通过分析 FF 算法在分布式计算中的有效性，我们旨在展示其作为分布式深度学习系统中的一个具有变革性工具的潜力，提高训练效率。将 FF 算法集成到分布式深度学习中，代表了该领域的重要进展，有可能彻底改变在分布式环境中训练神经网络的方式。

    Mar, 2024

  • 使用前向前向算法训练的网络中的紧急表示

    本研究中，作者探讨了一种名为 Forward-Forward 的训练神经网络的方法，与传统的 Backpropagation 背向算法相比，它采用了本地学习规则。作者通过实验发现，使用 Forward-Forward 算法进行训练所得到的神经网络内部表示可以组织成强健的、类别特定的合奏，并且由极少量的活跃单元（高稀疏度）组成，这与感官处理期间皮层表示的观察结果非常相似。这表明在模拟皮层学习方面，Forward-Forward 算法提出的学习过程比 Backpropagation 更优秀。

    May, 2023

  • DFA-GNN: 直接反馈对齐的图神经网络的前向学习

    通过引入 DFA-GNN 方法以及伪误差生成器，本文提出了一种用于图神经网络的前向学习框架，通过优化网络的反馈链接，克服了 BP 算法的限制，并在半监督学习任务中展现了非常优异的鲁棒性。

    Jun, 2024

  • 面向脉冲神经网络的前向直接反馈对在线梯度估计的应用

    在寻找与当前最先进的神经网络训练算法相比更节能的替代方法方面，有一种对脉冲神经网络的兴趣，因为它们可以在神经形态硬件平台上高效模拟能量。然而，这些平台在训练算法设计方面存在限制，最重要的是不能实现反向传播。本文提出了一种新颖的神经形态算法 —— 脉冲前向直接反馈对齐（SFDFA）算法，这是一种将前向直接反馈对齐（Forward Direct Feedback Alignment）用于训练脉冲神经网络的改进方式。SFDFA 算法通过反馈连接来估计输出和隐藏神经元之间的权重。本文的主要贡献在于描述了如何在线获取脉冲的精确局部梯度，同时考虑到突触后脉冲之间的内部神经元依赖关系，并推导了神经形态硬件兼容的动力系统。我们将 SFDFA 算法与一些竞争算法进行比较，并证明了该算法具有更高的性能和收敛速度。

    Feb, 2024

  • 具有不对称连接和 Hebbian 更新 的深度学习

    本论文提出一种使用 Hebbian 更新训练深度网络的方法，反馈权重与前馈权重分离以克服反向传播中不真实的对称性，即使在权重不同的情况下，其性能也与常规反向传播相当，同时提出了一种可以表示为最后一层局部 Hebbian 更新的成本函数。

    Nov, 2018

  • 脑样柔性视觉推理：通过利用反馈前馈对齐

    通过反馈与前馈路径的关联对齐机制，提出了一种学习算法 Feedback-Feedforward Alignment (FFA)，通过共同优化分类和重建任务，使得反馈连接具有去噪、解决遮挡、幻觉和想象等视觉推理功能，并提供了比传统的反向传播方法更接近生物合理性的实现。这项研究为解释视觉皮层中反馈连接支持灵活视觉功能的机制提供了有前景的概念证明，也为感知现象下的视觉推理领域做出了贡献，对于开发更具生物启发的学习算法具有重要意义。

    Oct, 2023