该工作提出了一种新型的本地化训练算法,BackLink,它引入了模块间的反向依赖关系,采用了一定的误差传播长度限制,并在深卷积神经网络中进行了广泛的实验,表明我们的方法通过提高分类性能来改善本地培训算法。
May, 2022
提出了一种新颖的基于深度学习的本地自监督表示学习方法,该方法不需要标签,也不需要端到端反向传播,而是利用数据中的自然顺序进行。该方法充分利用神经网络的生物学原理,将深度神经网络分成一堆梯度隔离的模块,每个模块都被训练成最大限度地保留其输入信息,以期创建具有自监督表示学习的深度神经网络,并在音频和视觉领域的下游分类任务中获得了高竞争结果。同时,该方法能够异步优化模块,允许在未标记的数据集上进行大规模分布式训练。
May, 2019
本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题,提出了一种新的解决方案,即将本地块重叠并堆叠在一起以增加解码器深度,并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务,我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。
Aug, 2020
通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数,本文提出了一种解决反向传播中锁死和权重传输问题的新方法,从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。
May, 2023
在生物神经网络中实现高效的学习需要对个体突触进行适应性调节,然而,由于时空依赖性的限制,目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡(GLE)的计算框架,用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值,该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。
Mar, 2024
通过引入一种新的无反向传播的方法,本研究提出了一个基于局部误差信号的块状神经网络,可以分别优化不同的子神经网络,并通过并行计算局部误差信号来加速权重更新过程,取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能,特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。
Dec, 2023
提出了一种名为 AugLocal 的增强本地学习方法,通过选择其后续网络层的小部分层来增强它们之间的协同作用,解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题,并减少了 GPU 内存使用量约 40%,为资源受限平台上训练高性能深度神经网络带来了许多机会。
Feb, 2024
本文介绍了一种利用信息传播 (loss) 解决深度网络训练时存储中间激活值(activations)的大内存占用问题的算法,该算法将网络划分为局部模块,通过异步训练这些分离的局部模块,并且通过信息传播 (loss) 损失函数,逐层改进算法提高训练效率。
Jan, 2021
提出一种周期性引导的本地化学习方法,旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中,并在多个模块的配置中具有重要的性能提升。
Aug, 2022
本文讨论了反向传播算法的神经可行性,研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则,并提出了两条无需权重对称的神经实现学分分配的路径。
Feb, 2020