本文介绍一项新的弱监督学习方法 —— 通过标签来监督预训练模型， 该方法使用现代残差网络和最大的图像数据集训练模型， 实现各种迁移学习的应用，甚至包括零样本学习，且与大规模自监督学习相比具有更好的性能。此方法有助于发展可靠的视觉识别系统。
Jan, 2022
提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。
Nov, 2020
本篇论文旨在通过专门的预处理阶段、利用 WordNet 层次结构和一种称为语义 softmax 的新型训练方案，从公开可用的 ImageNet-21K 数据集中有效地进行优质高效的预训练，并展示了不同模型在各种数据集和任务上获得的令人满意的结果。
Apr, 2021
本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与 ImageNet 预训练相比，使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用 COCO 数据进行预训练时，检测和实例分割性能超过了监督的 ImageNet 预训练方法。
Dec, 2021
通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。
Aug, 2021
使用随机初始化的标准模型，在 COCO 数据集上进行的目标检测和实例分割，结果不劣于它们的 ImageNet 预训练模型，证明预训练模型并不一定能提高模型最终的准确性。
Nov, 2018
本文探讨了在大型弱标记图像集上训练卷积网络以提升视觉特征表达的潜力，并证明了在 1 亿张 Flickr 图片与样本说明上训练出来的特征在多种视觉问题中表现良好，还能够妥善地捕捉单词之间的相似性，并学习不同语言之间的对应关系。
Nov, 2015
本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。
Jun, 2020
通过调整数据规模、模型大小和训练时间，提高预训练的准确性可以有利于大多数下游任务的表现，但是当上游准确度提高时，下游任务的表现会饱和，并且与上游和下游任务的性能呈非线性关系，因此需要对下游性能建立一个模型以反映这种饱和现象。
Oct, 2021
本文探讨了 ImageNet 数据集对于学习优秀通用特征的关键属性，发现大多数对预训练数据集的选择的改变不会显著影响迁移学习的表现。在相同的训练类别数量下，分类粗细程度或每个类别样例数目的增加对学习特征的质量影响大于类别数量的增加。
Aug, 2016