无需无监督：在监督模型中实现改进的泛化

ICLRJun, 2022

无需无监督：在监督模型中实现改进的泛化

No Reason for No Supervision: Improved Generalization in Supervised Models

Mert Bulent Sariyildiz, Yannis Kalantidis, Karteek Alahari, Diane Larlus

TL;DR提出了一种基于监督学习的训练方法，通过多尺度裁剪和扩展的 projector head 实现数据增强，通过使用 memory bank 计算类原型来提高转移能力，在 ImageNet-1K 数据集上实现新的最优表现，并在转移任务上优于现有方法。

Abstract

We consider the problem of training a deep neural network on a given classification task, e.g., ImageNet-1K (IN1K), so that it excels at both the training task as well as at other (future) transfer tasks. These two seemingly contradictory properties impose a trade-off between improving

deep neural network self-supervised learning supervised learning transfer learning data augmentation

发现论文，激发创造

自监督关键分析：或从单张图像中获得的经验教训

本文对于深度卷积神经网络的自监督技术进行了批判性的探讨，指出在使用强大的数据增强技术后，三种不同但具有代表性的方法可以从单个图像中学习卷积网络的前几层，但是对于更深层的神经网络，即使使用了数百万张未标记的图像来进行训练，与手动监督的差距也无法弥补。该研究得出的结论是：（1）深度网络的早期层的权值包含的自然图像的统计信息非常有限，（2）这种低层次的统计信息可以通过自监督学习和强监督学习一样学习，（3）可以通过使用合成变换来捕获低层次的统计信息，而无需使用大量的图像数据集。

Apr, 2019

大型自监督模型是强半监督学习器

本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

Jun, 2020

医学图像分析的迁移学习系统基准测试分析

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021

重新思考有监督的预训练，以实现更好的下游转移

该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移至下游任务，并在多个下游任务上的实验研究表明，LOOK 优于其他监督和自监督预训练方法。

Oct, 2021

通过知识转移提升自监督学习

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

探索弱监督预训练的极限

本文探讨了利用大规模社交媒体图像预测 hashtag 的卷积神经网络进行的迁移学习的行为，并展示了相应的实验结果，证明进行大规模预训练能够显著提高图片分类和物体检测任务的表现。

May, 2018

自监督模型的迁移表现如何？

本文探讨了 13 种自监督学习模型对 40 个下游任务的传输性能，发现自监督学习在多数任务上的表现均优于监督学习，但仍需解决通用预训练的问题。探究特征表明，自监督学习方法在保留颜色信息方面不如监督学习方法，但分类器校准和过度拟合问题相对较少。

Nov, 2020

自监督特征在医学图像分类任务中的可迁移性如何？

本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

Aug, 2021

自我监督领域内与监督领域外迁移学习在鸟类物种识别中的比较

该论文研究了在数据稀缺情景中，将预训练模型的权重转移用于辅助其他任务的重要性，特别是在深度学习领域中。通过对训练好的模型进行微调，可以有效改善对鸟类物种识别的性能。

Apr, 2024

将无监督目标用于大规模图像分类的监督神经网络增强

本研究通过在神经网络中添加重构的解码路径，探究了联合监督和无监督学习的应用，通过多种自编码器的比较，提高了在计算机视觉中的监督学习表现和 ImageNet ILSVRC 2012 协议下的准确率。

Jun, 2016