Oct, 2023

脑样柔性视觉推理：通过利用反馈前馈对齐

PDF
TL;DR通过反馈与前馈路径的关联对齐机制，提出了一种学习算法 Feedback-Feedforward Alignment (FFA)，通过共同优化分类和重建任务，使得反馈连接具有去噪、解决遮挡、幻觉和想象等视觉推理功能，并提供了比传统的反向传播方法更接近生物合理性的实现。这项研究为解释视觉皮层中反馈连接支持灵活视觉功能的机制提供了有前景的概念证明，也为感知现象下的视觉推理领域做出了贡献，对于开发更具生物启发的学习算法具有重要意义。
feedback connectionsvisual inferencealignmentcredit assignmentlearning algorithm
发现论文，激发创造
  • 具有增强目标信息的学习：反馈对齐的另一种理论

    该研究提出了一种基于信息理论的新颖理论，解释了反馈对齐（Feedback Alignment）是如何通过将目标信息嵌入到神经网络中来学习有效表示，其表现与 BP 算法相比，且还考虑到了生物学方面的现象和理论，例如预测编码和表征漂移。

    Apr, 2023

  • 深度神经网络中的逐层反馈对齐保持不变

    本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。

    Jun, 2023

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 综合正向算法：将正向传递和浅层反向传播与局部损失相结合

    该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

    May, 2023

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 直接反馈对齐提供深度神经网络的学习

    使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

    Sep, 2016

  • 带有稀疏连接的直接反馈对于局部学习的应用

    通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。

    Jan, 2019

  • 基于前馈设计的可解释卷积神经网络

    本文提出了一种解释性前馈 (FF) 设计，通过数据统计推导出当前层的网络参数，构建了基于 Saab 变换和 LRS 级联的卷积与全连接层的 CNN， 并在 MNIST 和 CIFAR-10 数据集上比较了 BP 和 FF 设计的分类准确性和鲁棒性，并探讨了 BP 和 FF 设计之间的关系。

    Oct, 2018

  • 前向学习中新兴的 NeoHebbian 动态：对神经形态计算的意义

    通过对神经计算的进一步研究，我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时，Forward-Forward Algorithm（FFA）等同于新赫布学习规则，并通过比较两个版本的 FFA 在模拟网络和脉冲神经网络中的训练行为，证实了生物学习规则与当前使用的训练算法之间的关联，并为将 FFA 的积极结果推广到赫布学习规则铺平了道路。同时，我们的结果暗示在 FFA 下训练的模拟网络可以直接应用于神经形态计算，从而实现能源消耗的降低和计算速度的增加。

    Jun, 2024

  • 光学神经网络的前向 - 前向训练

    本文介绍了一种利用光学系统实现神经网络训练的新路径，该方法使用了 Forward-Forward Algorithm 和多模非线性波传播等技术来提高 NN 性能。

    May, 2023