超越端到端训练：以上下文补充提升贪婪局部学习

Dec, 2023

超越端到端训练：以上下文补充提升贪婪局部学习

Go beyond End-to-End Training: Boosting Greedy Local Learning with Context Supply

Chengting Yu, Fengzhao Zhang, Hanzhi Ma, Aili Wang, Erping Li

TL;DR从信息论的角度出发，我们在贪婪的局部学习中提出了一种 ContSup 方案，它将隔离模块之间的上下文补充作为补偿信息损失的手段。在基准数据集（即 CIFAR、SVHN、STL-10）上的实验证明，我们提出的方法能够显著提高贪婪的局部学习性能，并且只带来最小的内存和计算开销，可以增加隔离模块的数量。

Abstract

Traditional end-to-end (E2E) training of deep networks necessitates storing intermediate activations for back-propagation, resulting in a large memory footprint on GPUs and restricted model parallelization. As an

end-to-end training deep networks model parallelization local learning greedy local learning

发现论文，激发创造

重新审视本地监督学习：一种替代端到端训练的方法

本文介绍了一种利用信息传播 (loss) 解决深度网络训练时存储中间激活值（activations）的大内存占用问题的算法，该算法将网络划分为局部模块，通过异步训练这些分离的局部模块，并且通过信息传播 (loss) 损失函数，逐层改进算法提高训练效率。

Jan, 2021

终结端到端：隔离梯度学习表征

提出了一种新颖的基于深度学习的本地自监督表示学习方法，该方法不需要标签，也不需要端到端反向传播，而是利用数据中的自然顺序进行。该方法充分利用神经网络的生物学原理，将深度神经网络分成一堆梯度隔离的模块，每个模块都被训练成最大限度地保留其输入信息，以期创建具有自监督表示学习的深度神经网络，并在音频和视觉领域的下游分类任务中获得了高竞争结果。同时，该方法能够异步优化模块，允许在未标记的数据集上进行大规模分布式训练。

May, 2019

LoCo: 本地对比度表示学习

本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

Aug, 2020

具有周期全局引导的本地监督学习

提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

Aug, 2022

增强辅助网络的有监督局部学习扩展

提出了一种名为 AugLocal 的增强本地学习方法，通过选择其后续网络层的小部分层来增强它们之间的协同作用，解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题，并减少了 GPU 内存使用量约 40%，为资源受限平台上训练高性能深度神经网络带来了许多机会。

Feb, 2024

迈向可解释性的深度本地学习与渐进梯度调和

本文研究了神经网络训练的局部学习方法，并提出了一种梯度协调的局部训练策略，旨在减少内存消耗并提高性能。

Jun, 2024

反向链接：具有监督的本地训练

该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

May, 2022

基于全局和局部表示的多网络对比学习

提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

Jun, 2023

卷积神经网络的解耦贪心学习

本文提出了解决反向传播过程中每层必须等待信号传播整个网络才能更新的锁定问题的替代方案 Decoupled Greedy Learning，通过使用最小反馈进行网络训练，并探讨了该方案的优化方法，可以在线性层级并行化的情况下独立地训练网络层或模块，本方案能够在异步环境下运行，并且具有更好的泛化性能，实验证明其对于 CIFAR-10 数据集和大规模 ImageNet 数据集的分类效果优于其他方案。

Jan, 2019

GLCAN: 具有全局 - 本地协作辅助网络的本地学习

传统的深度神经网络通常使用端到端的反向传播方法，在 GPU 内存上往往产生很大的负担。另一种有前途的训练方法是局部学习，它将网络分为多个块，并借助辅助网络并行训练它们。局部学习已被广泛研究和应用于图像分类任务中，并且其性能与端到端方法相当。然而，不同的图像任务通常依赖于不同的特征表示，这对于典型的辅助网络而言是困难的。为了解决这个问题，我们提出了全局 - 局部协作辅助网络（GLCAN）的构建方法，为辅助网络提供了宏观设计方法。这是局部学习方法首次成功应用于目标检测和超分辨率等其他任务的示范。GLCAN 不仅节省大量 GPU 内存，而且在多个不同任务的数据集上具有与端到端方法相当的性能。

Jun, 2024