利用本地损失来放大前置梯度

ICLROct, 2022

Scaling Forward Gradient With Local Losses

Mengye Ren, Simon Kornblith, Renjie Liao, Geoffrey Hinton

TL;DR本文介绍了一种改进的前向梯度学习算法，通过应用激活项的扰动和引入大量的局部贪婪损失函数以及新的局部学习结构 LocalMixer，可以显著降低梯度估计的方差，实现在 MNIST、CIFAR-10 和 ImageNet 数据集上与反向传播算法相媲美的结果。

Abstract

forward gradient learning computes a noisy directional gradient and is a biologically plausible alternative to backprop for learning deep neural networks. However, the standard forward gradient algorithm, when applied naively, suffers from high variance when the number of parameters to

forward gradient learning deep neural networks perturbations local greedy loss functions localmixer

发现论文，激发创造

正向梯度匹配反向传播？

本研究提出了一种使用反馈获得的局部辅助网络实现前向梯度方法的优化方案，能够显著改善标准计算机视觉神经网络中前向梯度方法中由步长难以猜测所需付出的代价。

Jun, 2023

基于概率潜在表示的块局部学习

通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

May, 2023

综合正向算法：将正向传递和浅层反向传播与局部损失相结合

该研究比较了反向传播算法、前向 - 前向算法和提出的一个整合算法，并在 MNIST 数据库上进行了分类任务的测试，结果表明，使用提出的整合算法可以生成具有强健性等优势特征的神经网络。

May, 2023

使用局部误差的深度监督学习

本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

Nov, 2017

理解和校正学习优化器训练中的病态

通过对学习到的优化函数进行训练以执行特定任务，我们提出了一种训练方案，它可以比经过调整的一阶方法更快地训练卷积网络，并在测试损失上得到改进。

Oct, 2018

用随机游走初始化训练超深度前馈网络

该研究论文探讨了在机器学习中训练深度网络的困难之处，并提出了一种方法解决梯度消失问题，即适当增加各层的宽度以缓解问题。

Dec, 2014

局部梯度平滑：对抗局部攻击的防御

本研究提出了一种基于局部梯度平滑（LGS）的防御方法来对抗深度神经网络（DNNs）对于局部及可见对抗干扰的敏感性，并在 ImageNet 数据集上与数字水印，JPEG 压缩，TVM 和特征扩张等防御方法相比展示了 LGS 的有效性和鲁棒性。

Jul, 2018

图神经网络的前向学习

通过本文中提出的 ForwardGNN 算法，我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性，该算法扩展了原始的前向传播算法，使其适用于图数据和图神经网络，并且不再需要产生负输入数据，同时每个层可以从自下而上和自上而下的信号中学习，而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明，这种前向图学习框架的有效性和普适性。

Mar, 2024

边缘计算下的局部梯度学习

提出了一种名为 tpSGD 的优化算法，该算法可以在边缘设备上进行学习，并且收敛速度快，具有低内存占用，并且可以训练任意的损失函数和反向传播神经网络，避免了梯度保留的需求，实现了内存优化。实验结果表明，该方法相对于其他梯度自由算法具有更好的性能表现。

Aug, 2022

选择性反向传播中梯度匹配的负面结果

通过选择最优匹配整个微批量平均梯度的（加权）子集，同时使用梯度作为廉价的代理，研究表明，无论是基于损失还是梯度匹配策略，都不能始终超越随机选择基准线，以加快深度神经网络训练过程中的计算速度。

Dec, 2023