Apr, 2019

无权重传输的深度学习

HTML
PDF
TL;DR本文提出两种机制：神经电路称为“权值镜像”和一种修正Kolen和Pollack于1994年提出的算法的方法来解决反馈路径的合适突触权重的学习。经验表明，这些机制对于大型网络的深度学习具有高效和精确的学习能力，且不需要复杂的连线。这些机制在ImageNet视觉识别任务上表现超过了反馈对齐和新的符号对称方法，并且几乎匹配了标准的深度学习算法backprop。
发现论文，激发创造
  • 直接反馈对齐提供深度神经网络的学习

    使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

    Sep, 2016

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 带有稀疏连接的直接反馈对于局部学习的应用

    通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。

    Jan, 2019

  • 基于脉冲的因果推理用于权值对齐

    通过引入脉冲系统处理信息，使得反向传导和前向传输的神经突触权重不相同，解决了生物模型中学习时的权重传递问题，提高了学习表现。

    Oct, 2019

  • 无权重对称的可扩展信用分配的两种方法

    本文讨论了反向传播算法的神经可行性，研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则，并提出了两条无需权重对称的神经实现学分分配的路径。

    Feb, 2020

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究“反馈对齐”算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021

  • 大脑皮层微电路的计算框架近似于符号一致的随机反向传播

    本研究提出一种基于神经科学机制实现随机反向传播的框架，该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号，并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的Hebb定律来更新突触权值并以生物学可行的方式实现监督学习。最后，从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。

    May, 2022

  • 深度神经网络中的逐层反馈对齐保持不变

    本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了ReLU网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。

    Jun, 2023

  • 不对称权重的深度学习

    提出了Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

    May, 2024