通过提出一种新的并行目标形式及引入特征重放算法，本文成功地解决了传统反向传播算法无法平行更新网络层的问题，并在实际中实现了更快的收敛速度、更低的内存消耗和更好的泛化性能。
Jul, 2018
使用去相关反向传播算法可以显著提高大规模深度神经网络的训练效率，并且可以获得更高的测试准确率。
May, 2024
本文提出了解决反向传播过程中每层必须等待信号传播整个网络才能更新的锁定问题的替代方案 Decoupled Greedy Learning，通过使用最小反馈进行网络训练，并探讨了该方案的优化方法，可以在线性层级并行化的情况下独立地训练网络层或模块，本方案能够在异步环境下运行，并且具有更好的泛化性能，实验证明其对于 CIFAR-10 数据集和大规模 ImageNet 数据集的分类效果优于其他方案。
Jan, 2019
通过引入对神经网络图计算的未来模型，预测梯度和输入；实现神经网络各部分的解耦，异步更新；并对前馈模型、循环神经网络、分层 RNN 等进行了实验和验证。
Aug, 2016
该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。
May, 2022
通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。
Dec, 2023
通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。
May, 2023
该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本研究提出了 Layer-wise Staleness 方法与 Diversely Stale Parameters (DSP) 算法来解决深度卷积神经网络的训练效率问题，并对两种梯度法进行分析和证明，实验证明 DSP 能显著提升训练速度并具备更强的鲁棒性。
Sep, 2019
提出了一种新的算法 ProxProp，它通过隐式步骤而不是显式步骤更新神经网络训练期间的网络参数，该算法从后向传播算法的一般观点出发设计，将预测误差的反向传播与序列梯度下降步骤等效对应到二次惩罚能量上，具有下降方向的参数空间和与常见的一阶优化器 Adam 等相结合的优点。
Jun, 2017