我们提出了一种去耦合的并行反向传播算法，利用延迟梯度解除了反向锁定，保证了深度学习的优化收敛性，并在标准数据集上展示了该算法的实验结果。

Apr, 2018

本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

Aug, 2023

本文从信息理论的角度考虑深度卷积神经网络的学习，提出了一种新的方法 Relay Backpropagation，在训练阶段鼓励网络中有效信息的传播，取得了 ILSVRC 2015 场景分类挑战赛的第一名。在两个具有挑战性的大规模数据集上的广泛实验表明，我们的方法的有效性不限于特定的数据集或网络架构。

Dec, 2015

研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。

Dec, 2018

研究如何在深度神经网络的训练中避免过拟合问题，提出了一种新的正则化方法 DeCov，通过最小化隐藏层激活的交叉协方差，鼓励深度神经网络表现出多样化或非冗余的表示。实验结果表明，这种方法可以显著减少过拟合，并提高泛化性能。

Nov, 2015

本文提出了解决反向传播过程中每层必须等待信号传播整个网络才能更新的锁定问题的替代方案 Decoupled Greedy Learning，通过使用最小反馈进行网络训练，并探讨了该方案的优化方法，可以在线性层级并行化的情况下独立地训练网络层或模块，本方案能够在异步环境下运行，并且具有更好的泛化性能，实验证明其对于 CIFAR-10 数据集和大规模 ImageNet 数据集的分类效果优于其他方案。

Jan, 2019

通过提出一种新的并行目标形式及引入特征重放算法，本文成功地解决了传统反向传播算法无法平行更新网络层的问题，并在实际中实现了更快的收敛速度、更低的内存消耗和更好的泛化性能。

Jul, 2018

该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

May, 2022

该研究提出了一种有效的计算方法，通过对全梯度的精简计算以及对梯度进行稀疏选择，来提高卷积神经网络中反向传播的计算效率，实验结果表明只有 5% 的梯度需要上传就可以达到原始 CNN 的效果甚至更好。

Sep, 2017

提出了一种基于哈希的新技术，通过只处理少量的节点来显著降低训练和测试深度神经网络的计算成本，该算法只使用了原始模型总乘法数的 5％，同时保持平均精度在 1％以内，其更新始终是稀疏的，使得算法非常适合异步和并行训练，端到端实验展示了该算法的可扩展性和可持续性。

Feb, 2016