ICLRJan, 2019

使用直接反馈对齐进行高效的卷积神经网络训练

PDF
TL;DR本文提出了结合 BP 算法的 BDFA 算法，同时提出了反馈权重初始化方法和模式分析技术来维持训练稳定性和最小化计算成本。 实验结果表明，该方法在小数据集环境下表现优异。
deep neural networkback-propagationdirect feedback alignmentbinary direct feedback alignmentcomputational cost
发现论文，激发创造
  • DFA-GNN: 直接反馈对齐的图神经网络的前向学习

    通过引入 DFA-GNN 方法以及伪误差生成器，本文提出了一种用于图神经网络的前向学习框架，通过优化网络的反馈链接，克服了 BP 算法的限制，并在半监督学习任务中展现了非常优异的鲁棒性。

    Jun, 2024

  • 具有直接反馈校验的差分隐私深度学习

    本文提出了一种新的针对深层神经网络的差分隐私训练方法：利用直接反馈对齐算法代替标准误差反向传播算法，通过实验证明其在多种结构和数据集上都能够显著提高模型的准确率（通常提高 10-20%），从而更好地保护隐私信息。

    Oct, 2020

  • 不对称权重的深度学习

    提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

    May, 2024

  • 直接反馈对齐提供深度神经网络的学习

    使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

    Sep, 2016

  • 带有稀疏连接的直接反馈对于局部学习的应用

    通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。

    Jan, 2019

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 面向脉冲神经网络的前向直接反馈对在线梯度估计的应用

    在寻找与当前最先进的神经网络训练算法相比更节能的替代方法方面，有一种对脉冲神经网络的兴趣，因为它们可以在神经形态硬件平台上高效模拟能量。然而，这些平台在训练算法设计方面存在限制，最重要的是不能实现反向传播。本文提出了一种新颖的神经形态算法 —— 脉冲前向直接反馈对齐（SFDFA）算法，这是一种将前向直接反馈对齐（Forward Direct Feedback Alignment）用于训练脉冲神经网络的改进方式。SFDFA 算法通过反馈连接来估计输出和隐藏神经元之间的权重。本文的主要贡献在于描述了如何在线获取脉冲的精确局部梯度，同时考虑到突触后脉冲之间的内部神经元依赖关系，并推导了神经形态硬件兼容的动力系统。我们将 SFDFA 算法与一些竞争算法进行比较，并证明了该算法具有更高的性能和收敛速度。

    Feb, 2024

  • 超越反向传播的尺度定律

    使用缩放定律研究了 Direct Feedback Alignment（DFA）在训练因果解码器专用变压器的效率，在计算和数据需求方面没有超越反向传播，需要更多实证方法来更好地理解建模决策。

    Oct, 2022

  • 深度神经网络中的逐层反馈对齐保持不变

    本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。

    Jun, 2023

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018