Jul, 2018

生物启发深度学习算法和架构的可扩展性评估

HTML
PDF
TL;DR通过对MNIST、CIFAR-10和ImageNet数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成MNIST数据集的任务。然而，我们发现在面对CIFAR和ImageNet数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。
发现论文，激发创造
  • 平衡传播：弥合基于能量模型与反向传播之间的鸿沟

    介绍Equilibrium Propagation-一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。

    Feb, 2016

  • 使用局部误差的深度监督学习

    本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

    Nov, 2017

  • 用生物学启发的算法传播本地目标表示

    提出了一种名为误差驱动局部表示对齐 (LRA-E) 的学习算法，它与预测编码有强烈的联系，可以在训练深度非线性网络时得到更稳定的性能和更强的泛化能力，并且通过与其他生物启发算法的比较，表现最佳。

    May, 2018

  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中sign-symmetry算法展现出了逼近BP算法的分类性能。

    Nov, 2018

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 带有稀疏连接的直接反馈对于局部学习的应用

    通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。

    Jan, 2019

  • 目标传播的理论框架

    本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

    Jun, 2020

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究“反馈对齐”算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021

  • 在多智能体网络框架中寻求下一层神经元的注意力进行类反向传播训练

    神经网络训练中的局部目标与错误反向传播在效率和可扩展性方面具有相似性，本研究通过实验表明多智能体神经网络比错误反向传播在遗忘方面具有更出色的性能。

    Oct, 2023

  • 解锁深度学习：神经网络并行分块训练的BP-Free方法

    通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。

    Dec, 2023