May, 2023

基于概率潜在表示的块局部学习

PDF
TL;DR通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。
backpropagationweight transport problemparallelisationend-to-end trainingblock-local learning
发现论文，激发创造
  • 反向链接：具有监督的本地训练

    该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

    May, 2022

  • 使用局部误差的深度监督学习

    本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

    Nov, 2017

  • 解锁深度学习：神经网络并行分块训练的 BP-Free 方法

    通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。

    Dec, 2023

  • 无权重对称的可扩展信用分配的两种方法

    本文讨论了反向传播算法的神经可行性，研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则，并提出了两条无需权重对称的神经实现学分分配的路径。

    Feb, 2020

  • 局部传播网络学习

    本文提出了一个基于局部传播和局部目标的网络参数学习方法，在任何可表示为图形形式的网络中具有统一的学习原则，可以理解和解释局部和全局学习动态，并在学习时间和网络规模上具有先进方法的优势，同时具有可等同的识别准确度

    May, 2018

  • LoCo: 本地对比度表示学习

    本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

    Aug, 2020

  • 通过本地竞争来实现激活学习

    本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。

    Sep, 2022

  • 反向传播：超越空间、时间与大脑

    在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

    Mar, 2024

  • 大规模块级自监督学习

    该论文中，我们使用最新的自监督学习技术，探索了全面反向传播的替代方法，即以块为单位的学习规则。我们证明了一个块状预训练程序，由 ResNet-50 的 4 个主要层块独立训练并使用 Barlow Twins' loss 函数，在 ImageNet 数据集上表现几乎与端到端反向传播相同，达到了 70.48% 的 top-1 分类准确率。

    Feb, 2023

  • 利用本地损失来放大前置梯度

    本文介绍了一种改进的前向梯度学习算法，通过应用激活项的扰动和引入大量的局部贪婪损失函数以及新的局部学习结构 LocalMixer，可以显著降低梯度估计的方差，实现在 MNIST、CIFAR-10 和 ImageNet 数据集上与反向传播算法相媲美的结果。

    Oct, 2022