从迭代逼近逆推导差分目标传播

Jul, 2020

Deriving Differential Target Propagation from Iterating Approximate Inverses

Yoshua Bengio

TL;DR本文通过学习每一层的逆函数的形式，提出了一种目标传播方法，它是微分的，即目标是前向传播的一个小扰动，产生了一种近似高斯牛顿梯度下降优化的更新规则。除了比反向传播具有更好的生物学可行性之外，它还可能提供更强的隐含优化过程。在考虑了本地自编码器的情况下，说明了这些迭代过程在每一层上的局部自编码器上计算以实现更精确的反演，并表明如果自编码函数减去恒等函数具有小于 1 的 Lipschitz 常数，则这些迭代程序会指数快地收敛。我们还提出了一种方法来规范每一层的变化，以考虑每一层对输出的相对影响，使得更具影响力的层的权重变化更大，就像在普通的反向传播中使用梯度下降一样。

Abstract

We show that a particular form of target propagation, i.e., relying on learned inverses of each layer, which is differential, i.e., where the target is a small perturbation of the forward propagation, gives rise

target propagation inverses optimization auto-encoders neural networks

发现论文，激发创造

差异目标传播

本文提出了一种称为目标传播的深度网络学习方法，它可以在神经元之间交换随机位而不是实数的情况下进行反向传播，每一层都使用自编码器来计算目标，得到了与反向传播相当的结果。换句话说，该方法提出了一种解决非线性函数下的显式反向传播方法问题的方法，现在已达到了当前的最新水平。

Dec, 2014

如何通过目标传播，使得自编码器对深度神经网络提供信用分配

本研究提出了利用重构为深度学习提供层本地的训练信号的方法，重构可以通过目标传播的形式进行传播，类似于反向传播，但有助于减少导数的依赖性以跨越许多水平的可能具有强非线性的学分任务，重构可以是一个更可能是其输入版本的重构，即更高似然性的方向上的小移动，目标传播还可以训练具有离散隐藏单元的深度网络。

Jul, 2014

目标传播的理论框架

本研究中，我们分析了一种叫做目标传播（TP）的替代反向传播（BP）的方法，从数学优化的角度进行了研究，并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练，并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明，与差分目标传播（DTP）相比，性能得到了显著提高，并且前向权重更新与损失梯度的对准得到了改善。

Jun, 2020

通过学习反向传播目标实现差分目标传递的扩展

本文提出了一种新型的反馈权重训练方案，确保 DTP 逼近 BP，并且可以恢复逐层反馈权重训练，同时不会牺牲任何理论保证，实验证实了该理论，并报告了 DTP 在 CIFAR-10 和 ImageNet 32×32 上取得的最佳表现。

Jan, 2022

显式优化神经网络减少反向传播需求并发现更好的极值

基于反向传播的迭代微分逼近方法使得神经网络的优化成为可能，但目前仍然计算代价高昂，尤其是在大规模训练模型时。本文提出了一种计算效率高的神经网络优化替代方案，既能降低神经网络的扩展成本，又能为低资源应用提供高效的优化。通过数学分析其梯度，我们推导了一个明确的解决方案用于简单的前馈语言模型 (LM)。该解决方案可以推广到基于正值特征训练的所有单层前馈 softmax 激活神经模型，我们通过将该解决方案应用于 MNIST 数字分类问题进行了验证。在 LM 和数字分类器的实验中，我们发现在计算上，明确的解决方案可以接近最优解，同时证明了：1) 迭代优化对明确解决方案参数的改进仅有微小影响，2) 随机初始化参数通过迭代优化逐渐趋向于明确的解决方案。我们还初步将明确的解决方案局部应用于多层网络，并讨论了随着模型复杂性增加的解决方案的计算节约。对于明确解决方案的单层和多层应用，我们强调仅通过反向传播无法达到这些最优解，即只有在应用明确解决方案后才能发现更好的最优解。最后，我们讨论了解决方案的计算节约以及它对模型可解释性的影响，并提出了为推导复杂和多层体系结构的明确解决方案的未来方向。

Nov, 2023

深度生成模型中的随机反向传播和近似推理

本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

Jan, 2014

固定权重差分目标传播

本篇研究提出了 Fixed-Weight Difference Target Propagation（FW-DTP）算法，该算法在训练过程中保持反馈权重不变，以解决 Target Propagation（TP）算法存在的问题。结果表明，FW-DTP 算法可以为隐层提供有用的目标值，且在四个分类数据集上显著优于 Difference Target Propagation（DTP）算法。同时，文中也解释了 DTP 算法的反馈函数形式。

Dec, 2022

DDGM: 基于扩散去噪的梯度最小化求解反问题

该论文提出了一种基于梯度下降与降噪相结合的噪声重建方法，可以高精度地重建电子显微学的层析成像问题，结果表明相对于传统方法和更复杂的扩散方法，该方法具有更高的精度和更快的计算速度。

Jul, 2023

使用迭代深度神经网络解决不适定的反问题

本文提出了一种部分学习方法，用于解决具有非线性正演算子的病态反问题。该方法利用经典正则化理论和深度学习的最新进展，通过对反问题的先验信息进行编码的正演算子、噪声模型和正则化函数来进行学习，其中包含每次迭代中的数据差异和正则化器的梯度做为卷积神经网络的输入。实验表明，与 FBP 和 TV 重建相比，所提出的方法在保证速度的同时，能够在 512 x 512 体积内产生 5.4dB 的 PSNR 提升。

Apr, 2017

基于能量模型的早期推断近似反向传播算法

通过观察后向传播错误梯度以及隐变量的激活，我们探讨了用 Langevin MCMC 方法估计基于能量的模型中的潜变量。我们提出了连续变量潜变量理论与 BP 算法在深层网络中的学习方式高效类比存在的可能性。

Oct, 2015