ICLRSep, 2020

激活松弛：脑内反向传播的局部动态逼近

PDF
TL;DR提出了 Activation Relaxation (AR) 算法，利用构建反向传播梯度的动力系统平衡点实现只利用局部信号的反向传播，可以在任意计算图上收敛，能在视觉分类任务上训练深度神经网络并且进行神经生物学实现的简化。
backpropagationneural circuitryactivation relaxationdeep learningvisual classification
发现论文，激发创造
  • 通过本地竞争来实现激活学习

    本文提出了一种生物可行的局部学习规则，利用神经元之间的局部竞争完成无监督特征发现，使用称为激活学习的正向学习范例对样本进行分类，在一些小数据集上能够与反向传播相媲美；同时在实现异常检测时表现出色。

    Sep, 2022

  • 基于概率潜在表示的块局部学习

    通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

    May, 2023

  • 使用近似激活的反向传播进行内存高效网络训练

    本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。

    Jan, 2019

  • 推广平衡传播至矢量场动态

    该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。

    Aug, 2018

  • 用生物学启发的算法传播本地目标表示

    提出了一种名为误差驱动局部表示对齐 (LRA-E) 的学习算法，它与预测编码有强烈的联系，可以在训练深度非线性网络时得到更稳定的性能和更强的泛化能力，并且通过与其他生物启发算法的比较，表现最佳。

    May, 2018

  • 反向传播：超越空间、时间与大脑

    在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

    Mar, 2024

  • 学习解决信用分配问题

    本文提出了一种混合学习方法，即每个神经元使用强化学习策略来学习如何近似反向传播算法提供的梯度，并给出了对于特定类别的网络中，该方法收敛到真实梯度的证明。在前馈和卷积神经网络中，我们经验证明我们的方法学习如何逼近梯度，并且可以匹配或超越精确梯度学习的性能。学习反馈权重提供了一个生物学上可行的机制来实现良好的性能，无需精确的预先指定学习规则。

    Jun, 2019

  • 预测编码近似计算任意计算图上的反向传播

    研究发现，通过局部学习规则，预测编码可以渐近（且实际上很快）地收敛到任意计算图上的精确反向传播梯度，这使得标准机器学习算法理论上可以直接用神经电路实现，从而为分布式神经形态结构的开发做出了贡献。

    Jun, 2020

  • 使用局部误差的深度监督学习

    本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

    Nov, 2017

  • 反向链接：具有监督的本地训练

    该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

    May, 2022