通过学习反向传播目标实现差分目标传递的扩展

Jan, 2022

通过学习反向传播目标实现差分目标传递的扩展

Towards Scaling Difference Target Propagation by Learning Backprop Targets

Maxence Ernoult, Fabrice Normandin, Abhinav Moudgil, Sean Spinney, Eugene Belilovsky...

TL;DR本文提出了一种新型的反馈权重训练方案，确保 DTP 逼近 BP，并且可以恢复逐层反馈权重训练，同时不会牺牲任何理论保证，实验证实了该理论，并报告了 DTP 在 CIFAR-10 和 ImageNet 32×32 上取得的最佳表现。

Abstract

The development of biologically-plausible learning algorithms is important for understanding learning in the brain, but most of them fail to scale-up to real-world tasks, limiting their potential as explanations for learning by real brains. As such, it is important to explore learning

biologically-plausible learning algorithms difference target propagation (dtp)gauss-newton optimization feedback weight training imagenet

发现论文，激发创造

目标传播的理论框架

本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

Jun, 2020

固定权重差分目标传播

本篇研究提出了 Fixed-Weight Difference Target Propagation（FW-DTP）算法，该算法在训练过程中保持反馈权重不变，以解决 Target Propagation（TP）算法存在的问题。结果表明，FW-DTP 算法可以为隐层提供有用的目标值，且在四个分类数据集上显著优于 Difference Target Propagation（DTP）算法。同时，文中也解释了 DTP 算法的反馈函数形式。

Dec, 2022

生物启发深度学习算法和架构的可扩展性评估

通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验，我们提出和探究了目标传播和反馈对齐算法的变体，在全连接和局部连接的体系结构下，大部分算法都可以很好的完成 MNIST 数据集的任务。然而，我们发现在面对 CIFAR 和 ImageNet 数据集时，这些算法在局部连接的体系结构下表现不如反向传播算法，因此我们需要新的架构和算法来扩展这些方法。

Jul, 2018

可实现大规模数据集的生物合理学习算法

研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性，其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。

Nov, 2018

差异目标传播

本文提出了一种称为目标传播的深度网络学习方法，它可以在神经元之间交换随机位而不是实数的情况下进行反向传播，每一层都使用自编码器来计算目标，得到了与反向传播相当的结果。换句话说，该方法提出了一种解决非线性函数下的显式反向传播方法问题的方法，现在已达到了当前的最新水平。

Dec, 2014

不对称权重的深度学习

提出了 Product Feedback Alignment（PFA）算法，它在避免显式的权重对称的同时，几乎与反向传播（BP）算法相同，能够在深度卷积网络中实现可比较的性能，从而提供了对长期存在的权重对称问题的新解决方案，实现了更加符合生物合理性的深度卷积网络学习。

May, 2024

直接反馈对齐在现代深度学习任务和架构中的拓展

本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。

Jun, 2020

GAIT-prop：一种源自误差反向传播的生物合理的学习规则

提出了 GAIT-Prop 算法，该算法是目标传播算法的一种改进形式，并与 Backpropagation 算法在某些条件下等价。该算法在神经网络训练中可以产生与传统 Backpropagation 算法几乎相同的性能表现，尤其在软正交性约束得到应用时。

Jun, 2020

从迭代逼近逆推导差分目标传播

本文通过学习每一层的逆函数的形式，提出了一种目标传播方法，它是微分的，即目标是前向传播的一个小扰动，产生了一种近似高斯牛顿梯度下降优化的更新规则。除了比反向传播具有更好的生物学可行性之外，它还可能提供更强的隐含优化过程。在考虑了本地自编码器的情况下，说明了这些迭代过程在每一层上的局部自编码器上计算以实现更精确的反演，并表明如果自编码函数减去恒等函数具有小于 1 的 Lipschitz 常数，则这些迭代程序会指数快地收敛。我们还提出了一种方法来规范每一层的变化，以考虑每一层对输出的相对影响，使得更具影响力的层的权重变化更大，就像在普通的反向传播中使用梯度下降一样。

Jul, 2020

深度关注信念传播：融合推理与学习以解决约束优化问题

通过将 Belief Propagation、门控循环单元和图注意力网络无缝地整合进消息传递框架中，我们提出了一种名为 DABP 的深度注意力置信传播模型，它可以推断得到优化后的权重和阻尼因子，通过无需昂贵的训练标签，可有效避免常见的分布问题进行自我监督学习，并通过实验表明它显著优于现有的基线模型。

Sep, 2022