重新审视本地监督学习：一种替代端到端训练的方法

ICLRJan, 2021

重新审视本地监督学习：一种替代端到端训练的方法

Revisiting Locally Supervised Learning: an Alternative to End-to-end Training

Yulin Wang, Zanlin Ni, Shiji Song, Le Yang, Gao Huang

TL;DR本文介绍了一种利用信息传播 (loss) 解决深度网络训练时存储中间激活值（activations）的大内存占用问题的算法，该算法将网络划分为局部模块，通过异步训练这些分离的局部模块，并且通过信息传播 (loss) 损失函数，逐层改进算法提高训练效率。

Abstract

Due to the need to store the intermediate activations for back-propagation, end-to-end (E2E) training of deep networks usually suffers from high GPUs memory footprint. This paper aims to address this problem by r

deep networks local modules information propagation memory footprint asynchronous training

发现论文，激发创造

超越端到端训练：以上下文补充提升贪婪局部学习

从信息论的角度出发，我们在贪婪的局部学习中提出了一种 ContSup 方案，它将隔离模块之间的上下文补充作为补偿信息损失的手段。在基准数据集（即 CIFAR、SVHN、STL-10）上的实验证明，我们提出的方法能够显著提高贪婪的局部学习性能，并且只带来最小的内存和计算开销，可以增加隔离模块的数量。

Dec, 2023

终结端到端：隔离梯度学习表征

提出了一种新颖的基于深度学习的本地自监督表示学习方法，该方法不需要标签，也不需要端到端反向传播，而是利用数据中的自然顺序进行。该方法充分利用神经网络的生物学原理，将深度神经网络分成一堆梯度隔离的模块，每个模块都被训练成最大限度地保留其输入信息，以期创建具有自监督表示学习的深度神经网络，并在音频和视觉领域的下游分类任务中获得了高竞争结果。同时，该方法能够异步优化模块，允许在未标记的数据集上进行大规模分布式训练。

May, 2019

通过层级角色差异来诱导端到端训练中的信息瓶颈：与逐层训练进行比较的分析

通过与逐层训练进行比较，本文重新考虑为什么端到端训练能够表现出卓越性能，并分析了中间表示的信息平面动态，揭示了端到端训练在不同层中展示不同信息动态的能力，以及表明层间的合作相互作用需要被考虑在深度学习的信息瓶颈分析中。

Feb, 2024

反向链接：具有监督的本地训练

该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

May, 2022

使用本地错误信号训练神经网络

该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法，表明可在多种图像数据集上达到最先进水平，在局部学习的情况下，使用本地误差可能是朝着更符合生物学的深度学习的一步。

Jan, 2019

LoCo: 本地对比度表示学习

本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

Aug, 2020

具有周期全局引导的本地监督学习

提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

Aug, 2022

基于概率潜在表示的块局部学习

通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

May, 2023

迈向可解释性的深度本地学习与渐进梯度调和

本文研究了神经网络训练的局部学习方法，并提出了一种梯度协调的局部训练策略，旨在减少内存消耗并提高性能。

Jun, 2024

内存高效的端到端深度后验网络（DEEPEN）用于逆问题

通过使用内存高效的方法以及利用卷积神经网络的最大似然优化，我们介绍了一种用于磁共振图像恢复的后验分布的端到端学习方法，该方法能够从未采样的测量中恢复图像，并提供重建的不确定性地图。

Feb, 2024