AAAIDec, 2022

固定权重差分目标传播

PDF
TL;DR本篇研究提出了 Fixed-Weight Difference Target Propagation（FW-DTP）算法，该算法在训练过程中保持反馈权重不变，以解决 Target Propagation（TP）算法存在的问题。结果表明，FW-DTP 算法可以为隐层提供有用的目标值，且在四个分类数据集上显著优于 Difference Target Propagation（DTP）算法。同时，文中也解释了 DTP 算法的反馈函数形式。
target propagationbiologically plausible algorithmdeep networksfixed-weight difference target propagationclassification datasets
发现论文，激发创造
  • 通过学习反向传播目标实现差分目标传递的扩展

    本文提出了一种新型的反馈权重训练方案，确保 DTP 逼近 BP，并且可以恢复逐层反馈权重训练，同时不会牺牲任何理论保证，实验证实了该理论，并报告了 DTP 在 CIFAR-10 和 ImageNet 32×32 上取得的最佳表现。

    Jan, 2022

  • 目标传播的理论框架

    本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

    Jun, 2020

  • 差异目标传播

    本文提出了一种称为目标传播的深度网络学习方法，它可以在神经元之间交换随机位而不是实数的情况下进行反向传播，每一层都使用自编码器来计算目标，得到了与反向传播相当的结果。换句话说，该方法提出了一种解决非线性函数下的显式反向传播方法问题的方法，现在已达到了当前的最新水平。

    Dec, 2014

  • 生物启发深度学习算法和架构的可扩展性评估

    通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

    Jul, 2018

  • 可实现大规模数据集的生物合理学习算法

    研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。

    Nov, 2018

  • 不对称权重的深度学习

    提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

    May, 2024

  • 直接反馈对齐提供深度神经网络的学习

    使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差，而不需要成对的权重，是迈向生物可行机器学习的一步。

    Sep, 2016

  • 分层反馈传播

    该研究介绍了一种名为层次反馈传播 (LFP) 的新型训练方法，利用可解释性、具体而言是层次相关传播 (LRP)，为神经网络预测器中的个别连接分配奖励，以其对解决给定任务的贡献为基础。与传统的梯度下降方法不同，LFP 在不需要梯度计算的情况下在模型中传播奖励信号。它增强了接收到积极反馈的结构，同时减少了接收到负反馈的结构的影响。理论上和经验证实了 LFP 的收敛性，并展示了在各种模型和数据集上与梯度下降方法相当的性能。值得注意的是，LFP 可以克服与基于梯度的方法相关的某些局限性，例如依赖有意义的导数。此外，我们还研究了如何将不同的 LRP 规则扩展到 LFP 中，它们对训练的影响以及潜在的应用，例如训练没有有意义的导数的模型，例如阶跃函数激活的脉冲神经网络 (SNN)，或用于转移学习，以高效利用现有知识。

    Aug, 2023

  • 具有增强目标信息的学习：反馈对齐的另一种理论

    该研究提出了一种基于信息理论的新颖理论，解释了反馈对齐（Feedback Alignment）是如何通过将目标信息嵌入到神经网络中来学习有效表示，其表现与 BP 算法相比，且还考虑到了生物学方面的现象和理论，例如预测编码和表征漂移。

    Apr, 2023

  • 基于目标投影的在线时空学习

    提出了一种新的在线时空学习算法 OSTTP，它解决了 BPTT 算法所遇到的种种问题，并在两个时态任务中证明了其竞争力；另外，该算法在记忆电阻神经形态硬件系统上得到了实现和展示其灵活性和适用性。

    Apr, 2023