传统的深度神经网络通常使用端到端的反向传播方法，在 GPU 内存上往往产生很大的负担。另一种有前途的训练方法是局部学习，它将网络分为多个块，并借助辅助网络并行训练它们。局部学习已被广泛研究和应用于图像分类任务中，并且其性能与端到端方法相当。然而，不同的图像任务通常依赖于不同的特征表示，这对于典型的辅助网络而言是困难的。为了解决这个问题，我们提出了全局 - 局部协作辅助网络（GLCAN）的构建方法，为辅助网络提供了宏观设计方法。这是局部学习方法首次成功应用于目标检测和超分辨率等其他任务的示范。GLCAN 不仅节省大量 GPU 内存，而且在多个不同任务的数据集上具有与端到端方法相当的性能。

Jun, 2024

Scaling Supervised Local Learning with Multilaminar Leap Augmented Auxiliary Network (MLAAN) integrates smoothly with established local learning techniques, enhances efficacy, improves model accuracy, and outperforms end-to-end training approaches while saving GPU memory.

Jun, 2024

本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制，旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明，该方法效果优于反馈对齐学习技术，并强调了其潜在的生物学机制和在定制硬件上的应用前景。

Nov, 2017

该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

May, 2022

提出一种周期性引导的本地化学习方法，旨在提升神经网络的泛化能力。该方法将全局目标函数反复引入神经网络的本地化损失训练中，并在多个模块的配置中具有重要的性能提升。

Aug, 2022

本文提出了一种局部学习算法，结合图像数据和卷积滤波器、块归一化和非线性方法，可以成功地对 CIFAR-10 和 ImageNet 32x32 数据集进行分类，并展示了有关如何使用无标签数据从中学习通用表示的成功转移学习案例。

Aug, 2019

本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

Aug, 2020

该论文探讨了使用分层损失函数进行神经网络分类的监督训练的方法，表明可在多种图像数据集上达到最先进水平，在局部学习的情况下，使用本地误差可能是朝着更符合生物学的深度学习的一步。

Jan, 2019

本研究提出一种数据增强策略 —— 局部增强，即通过采样与中心节点特征相关联的其它节点特征的条件分布来增强 GNN 模型的表达能力， 使用局部增强方法可以在各种 GNN 体系结构和数据集上获得稳定的性能提升，例如在 Cora，Citeseer 和 Pubmed 上平均测试准确率分别提高了 3.4％和 1.6％，同时，也能够在大型图 (OGB) 上提高模型的性能。

Sep, 2021

该研究提出了一种基于深度学习的模型 —— 辅助网络（Aux-Net），其采用加权集成分类器来处理输入特征数量的变化，具有可扩展性和敏捷性。Aux-Net 基于对冲算法和在线梯度下降算法，使用单次学习中的深度变化模型，适用于动态复杂环境，使能够处理不连贯的输入数据。在公共数据集上，实验证明了辅助网络的有效性。

Aug, 2020