Jan, 2019

带有稀疏连接的直接反馈对于局部学习的应用

PDF
TL;DR通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。
deep neural networksbackpropagationfeedback alignmentmachine-learning hardwaresparse feedback matrix
发现论文，激发创造
  • 直接反馈对齐提供深度神经网络的学习

    使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

    Sep, 2016

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 基于脉冲的因果推理用于权值对齐

    通过引入脉冲系统处理信息，使得反向传导和前向传输的神经突触权重不相同，解决了生物模型中学习时的权重传递问题，提高了学习表现。

    Oct, 2019

  • 面向脉冲神经网络的前向直接反馈对在线梯度估计的应用

    在寻找与当前最先进的神经网络训练算法相比更节能的替代方法方面，有一种对脉冲神经网络的兴趣，因为它们可以在神经形态硬件平台上高效模拟能量。然而，这些平台在训练算法设计方面存在限制，最重要的是不能实现反向传播。本文提出了一种新颖的神经形态算法 —— 脉冲前向直接反馈对齐（SFDFA）算法，这是一种将前向直接反馈对齐（Forward Direct Feedback Alignment）用于训练脉冲神经网络的改进方式。SFDFA 算法通过反馈连接来估计输出和隐藏神经元之间的权重。本文的主要贡献在于描述了如何在线获取脉冲的精确局部梯度，同时考虑到突触后脉冲之间的内部神经元依赖关系，并推导了神经形态硬件兼容的动力系统。我们将 SFDFA 算法与一些竞争算法进行比较，并证明了该算法具有更高的性能和收敛速度。

    Feb, 2024

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021

  • 无权重传输的深度学习

    本文提出两种机制：神经电路称为 “权值镜像” 和一种修正 Kolen 和 Pollack 于 1994 年提出的算法的方法来解决反馈路径的合适突触权重的学习。经验表明，这些机制对于大型网络的深度学习具有高效和精确的学习能力，且不需要复杂的连线。这些机制在 ImageNet 视觉识别任务上表现超过了反馈对齐和新的符号对称方法，并且几乎匹配了标准的深度学习算法 backprop。

    Apr, 2019

  • 用于神经网络训练的随机反馈对齐算法：为什么能对齐？

    本文研究反馈对准算法的梯度对准机制（gradient alignment），使用数学推理和模拟证明了梯度对准是该算法固定点的稳定性准则，但高度的梯度对准却不一定会导致良好的算法性能。

    Jun, 2023

  • 随机反馈权重支持深度神经网络学习

    提出一种新的深度学习算法，通过随机突触权重与误差信号相乘来学习网络的参数，有效地规避了神经回溯算法在大脑构造中的限制。

    Nov, 2014

  • 使用直接反馈对齐进行高效的卷积神经网络训练

    本文提出了结合 BP 算法的 BDFA 算法，同时提出了反馈权重初始化方法和模式分析技术来维持训练稳定性和最小化计算成本。 实验结果表明，该方法在小数据集环境下表现优异。

    Jan, 2019