Dec, 2023

解锁深度学习：神经网络并行分块训练的 BP-Free 方法

PDF
TL;DR通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。
backpropagationdeep learning modelslocal error signalsneural networkbp-free approach
发现论文，激发创造
  • 基于概率潜在表示的块局部学习

    通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

    May, 2023

  • 反向链接：具有监督的本地训练

    该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

    May, 2022

  • 无需反向传播的深度物理神经网络训练

    实现了使用生物可行的学习算法训练深度物理神经网络的简单深度神经网络结构，以提高训练速度，减少数字计算和降低物理系统的能量消耗。

    Apr, 2023

  • 具收敛保证的解耦并行反向传播算法

    我们提出了一种去耦合的并行反向传播算法，利用延迟梯度解除了反向锁定，保证了深度学习的优化收敛性，并在标准数据集上展示了该算法的实验结果。

    Apr, 2018

  • 基于张量压缩的无反向传播训练 (物理信息) 神经网络

    该研究论文提出了一种完全不需要使用反向传播的训练框架，通过引入压缩张量方差缩减方法和混合梯度评估方法，以及利用稀疏网格方法估计损失函数中的导数，该方法在训练规模和效率方面存在多个技术贡献，同时在 MNIST 数据集上与标准一阶训练相比，仅略有损失准确性，并成功地应用于物理建模相关的神经网络训练，这种无需反向传播的高效低内存方法有望在资源受限的平台上进行即将到来的设备端训练应用。

    Aug, 2023

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 不对称权重的深度学习

    提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

    May, 2024

  • 大规模块级自监督学习

    该论文中，我们使用最新的自监督学习技术，探索了全面反向传播的替代方法，即以块为单位的学习规则。我们证明了一个块状预训练程序，由 ResNet-50 的 4 个主要层块独立训练并使用 Barlow Twins' loss 函数，在 ImageNet 数据集上表现几乎与端到端反向传播相同，达到了 70.48% 的 top-1 分类准确率。

    Feb, 2023

  • FedFwd：无需反向传播的联邦学习

    使用一种名为 FedFwd 的新方法，该方法在本地训练过程中通过层级局部更新参数来减少计算量，无需在训练期间存储所有中间激活值。在评估 MNIST 等标准数据集上，我们进行了各种实验，表明它与其他依赖于反向传播算法的联邦学习方法具有竞争力。

    Sep, 2023

  • 迈向可解释性的深度本地学习与渐进梯度调和

    本文研究了神经网络训练的局部学习方法，并提出了一种梯度协调的局部训练策略，旨在减少内存消耗并提高性能。

    Jun, 2024