终结端到端：隔离梯度学习表征

May, 2019

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

Sindy Löwe, Peter O'Connor, Bastiaan S. Veeling

TL;DR提出了一种新颖的基于深度学习的本地自监督表示学习方法，该方法不需要标签，也不需要端到端反向传播，而是利用数据中的自然顺序进行。该方法充分利用神经网络的生物学原理，将深度神经网络分成一堆梯度隔离的模块，每个模块都被训练成最大限度地保留其输入信息，以期创建具有自监督表示学习的深度神经网络，并在音频和视觉领域的下游分类任务中获得了高竞争结果。同时，该方法能够异步优化模块，允许在未标记的数据集上进行大规模分布式训练。

Abstract

We propose a novel deep learning method for local self-supervised representation learning that does not require labels nor end-to-end backpropagation but exploits the natural order in data instead. Inspired by th

deep learning self-supervised learning neural networks representation learning unsupervised training

发现论文，激发创造

重新审视本地监督学习：一种替代端到端训练的方法

本文介绍了一种利用信息传播 (loss) 解决深度网络训练时存储中间激活值（activations）的大内存占用问题的算法，该算法将网络划分为局部模块，通过异步训练这些分离的局部模块，并且通过信息传播 (loss) 损失函数，逐层改进算法提高训练效率。

Jan, 2021

LoCo: 本地对比度表示学习

本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。

Aug, 2020

超越端到端训练：以上下文补充提升贪婪局部学习

从信息论的角度出发，我们在贪婪的局部学习中提出了一种 ContSup 方案，它将隔离模块之间的上下文补充作为补偿信息损失的手段。在基准数据集（即 CIFAR、SVHN、STL-10）上的实验证明，我们提出的方法能够显著提高贪婪的局部学习性能，并且只带来最小的内存和计算开销，可以增加隔离模块的数量。

Dec, 2023

迈向可解释性的深度本地学习与渐进梯度调和

本文研究了神经网络训练的局部学习方法，并提出了一种梯度协调的局部训练策略，旨在减少内存消耗并提高性能。

Jun, 2024

自主标记：同时聚类与表示学习

本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

Nov, 2019

本地可塑性规则可使用自监督对比预测学习深度表征

这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

Oct, 2020

基于全局和局部表示的多网络对比学习

提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

Jun, 2023

分层体系结构中不变表示的无监督学习

我们提出了一种基于无监督自动学习的方法，可以学习出具有小样本复杂度的好的表示方法，在视觉对象识别等领域可以得到应用。通过无监督学习期间存储的一组模板，可以对每个图像块计算一种不变而又唯一的（有区分性的）签名，从而从很少的有标记例子中学习图像识别。

Nov, 2013

反向链接：具有监督的本地训练

该工作提出了一种新型的本地化训练算法，BackLink，它引入了模块间的反向依赖关系，采用了一定的误差传播长度限制，并在深卷积神经网络中进行了广泛的实验，表明我们的方法通过提高分类性能来改善本地培训算法。

May, 2022

走向生物学可行的深度学习

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015