Aug, 2020

LoCo: 本地对比度表示学习

PDF
TL;DR本文针对现有无监督对比学习算法存在的局部学习和全局学习性能差异的问题，提出了一种新的解决方案，即将本地块重叠并堆叠在一起以增加解码器深度，并为上层块隐含地向下层块发送反馈。通过在 ImageNet 中的实验以及直接使用 readout 特征进行对象检测和实例分割等复杂下游任务，我们发现该方法可有效处理局部学习和端到端对比学习算法之间的性能差距。
neural netsunsupervised learninglocal learningdecoder depthunsupervised contrastive learning
发现论文，激发创造
  • 基于全局和局部表示的多网络对比学习

    提出了基于全局和局部特征表示的多网络对比学习框架，通过多个网络引入自监督对比学习的全局和局部特征信息，并通过对比由多个网络生成的嵌入对来学习图像不同尺度上的特征信息，并扩展对比样本数，提高了模型的训练效率。在三个基准数据集上的线性评估结果表明，我们的方法优于几种现有的经典自监督学习方法。

    Jun, 2023

  • 本地可塑性规则可使用自监督对比预测学习深度表征

    这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则，使用局部，赫布规则进行权重更新，并具有深度分层的图像、语音和视频表示。

    Oct, 2020

  • 自监督表示学习的定位加速

    通过数据驱动的前景显著性估计和复制粘贴来生成图像视图，实现对背景不变性的学习，从而训练代表性忽略背景内容并专注于前景的对比学习模型，并实现了在 ImageNet 分类和 PASCAL VOC、MSCOCO 目标检测上的显著性能提升。

    Apr, 2020

  • 基于概率潜在表示的块局部学习

    通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

    May, 2023

  • 终结端到端：隔离梯度学习表征

    提出了一种新颖的基于深度学习的本地自监督表示学习方法，该方法不需要标签，也不需要端到端反向传播，而是利用数据中的自然顺序进行。该方法充分利用神经网络的生物学原理，将深度神经网络分成一堆梯度隔离的模块，每个模块都被训练成最大限度地保留其输入信息，以期创建具有自监督表示学习的深度神经网络，并在音频和视觉领域的下游分类任务中获得了高竞争结果。同时，该方法能够异步优化模块，允许在未标记的数据集上进行大规模分布式训练。

    May, 2019

  • 图像分析的本地无监督学习

    本文提出了一种局部学习算法，结合图像数据和卷积滤波器、块归一化和非线性方法，可以成功地对 CIFAR-10 和 ImageNet 32x32 数据集进行分类，并展示了有关如何使用无标签数据从中学习通用表示的成功转移学习案例。

    Aug, 2019

  • LoDisc: 全局 - 本地辨别特征的自监督细粒度视觉识别学习

    通过自监督局部微观对比学习任务，将细微的局部特征学习融合到全局自监督对比学习中，形成一个纯自监督的全局 - 局部微细对比学习框架，从而有效提高了细粒度图像特征表示的品质。

    Mar, 2024

  • 增强辅助网络的有监督局部学习扩展

    提出了一种名为 AugLocal 的增强本地学习方法，通过选择其后续网络层的小部分层来增强它们之间的协同作用，解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题，并减少了 GPU 内存使用量约 40%，为资源受限平台上训练高性能深度神经网络带来了许多机会。

    Feb, 2024

  • 超越端到端训练：以上下文补充提升贪婪局部学习

    从信息论的角度出发，我们在贪婪的局部学习中提出了一种 ContSup 方案，它将隔离模块之间的上下文补充作为补偿信息损失的手段。在基准数据集（即 CIFAR、SVHN、STL-10）上的实验证明，我们提出的方法能够显著提高贪婪的局部学习性能，并且只带来最小的内存和计算开销，可以增加隔离模块的数量。

    Dec, 2023

  • 对比损失的有趣特性

    本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

    Nov, 2020