使用局部误差的深度监督学习
提出了一种名为误差驱动局部表示对齐 (LRA-E) 的学习算法,它与预测编码有强烈的联系,可以在训练深度非线性网络时得到更稳定的性能和更强的泛化能力,并且通过与其他生物启发算法的比较,表现最佳。
May, 2018
通过对MNIST、CIFAR-10和ImageNet数据集中的机器学习任务进行实验,我们提出和探究了目标传播和反馈对齐算法的变体,在全连接和局部连接的体系结构下,大部分算法都可以很好的完成MNIST数据集的任务。然而,我们发现在面对CIFAR和ImageNet数据集时,这些算法在局部连接的体系结构下表现不如反向传播算法,因此我们需要新的架构和算法来扩展这些方法。
Jul, 2018
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法,表明可在多种图像数据集上达到最先进水平,在局部学习的情况下,使用本地误差可能是朝着更符合生物学的深度学习的一步。
Jan, 2019
通过使用反馈对齐算法,提出了一种生物相似性算法来替代反向传播,用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率,与反向传播相比,可以实现数量级的改进,并且可以在某些方面获得硬件优势,同时还可以获得具有可比性的结果。
Jan, 2019
该工作提出了一种新型的本地化训练算法,BackLink,它引入了模块间的反向依赖关系,采用了一定的误差传播长度限制,并在深卷积神经网络中进行了广泛的实验,表明我们的方法通过提高分类性能来改善本地培训算法。
May, 2022
通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数,本文提出了一种解决反向传播中锁死和权重传输问题的新方法,从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。
May, 2023
神经网络训练中的局部目标与错误反向传播在效率和可扩展性方面具有相似性,本研究通过实验表明多智能体神经网络比错误反向传播在遗忘方面具有更出色的性能。
Oct, 2023
通过引入一种新的无反向传播的方法,本研究提出了一个基于局部误差信号的块状神经网络,可以分别优化不同的子神经网络,并通过并行计算局部误差信号来加速权重更新过程,取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能,特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。
Dec, 2023