Apr, 2023

使用延迟反馈的前馈优化神经网络

PDF
TL;DR研究提出了一种名为 Feed-Forward with delayed Feedback (F$^3$) 的算法，它有效地解决了权重传输和更新锁定等核心问题，实现了生物合理性和计算效率，将生物合理性算法和反向传播算法之间的预测性能差距降低了 96%，为低能耗训练和并行化开辟了新的前景。
backpropagationbiologically plausible trainingcomputational efficiencyweight transportfeed-forward
发现论文，激发创造
  • 改进的前向对比学习

    在这篇论文中，我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播，而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性，从而提出了一种更具生物可行性的学习方法。

    May, 2024

  • 核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习

    提出一种基于信息瓶颈原理的学习规则，结合了核方法，并采用 3 要素的 Hebbian 结构，其不需要精确标签，且在图像分类任务上表现与反向传播算法接近。

    Jun, 2020

  • 推广平衡传播至矢量场动态

    该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。

    Aug, 2018

  • 深度卷积网络中的反馈对齐

    研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

    Dec, 2018

  • 带有稀疏连接的直接反馈对于局部学习的应用

    通过使用反馈对齐算法，提出了一种生物相似性算法来替代反向传播，用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率，与反向传播相比，可以实现数量级的改进，并且可以在某些方面获得硬件优势，同时还可以获得具有可比性的结果。

    Jan, 2019

  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。

    Nov, 2018

  • 具有增强目标信息的学习：反馈对齐的另一种理论

    该研究提出了一种基于信息理论的新颖理论，解释了反馈对齐（Feedback Alignment）是如何通过将目标信息嵌入到神经网络中来学习有效表示，其表现与 BP 算法相比，且还考虑到了生物学方面的现象和理论，例如预测编码和表征漂移。

    Apr, 2023

  • 反馈与局部可塑性学习的学习

    本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则，以进行在线信用分配，并超越了现有的基于梯度的算法在回归和分类任务方面的性能，特别是在持续学习方面表现优异，结果表明存在一类生物可行的学习机制，不仅匹配梯度下降，而且还克服了其局限性。

    Jun, 2020

  • 直接反馈对齐在现代深度学习任务和架构中的拓展

    本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

    Jun, 2020

  • 随机反向传播权重的梯度下降的收敛和对齐

    该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。

    Jun, 2021