本文探讨了利用大规模社交媒体图像预测 hashtag 的卷积神经网络进行的迁移学习的行为，并展示了相应的实验结果，证明进行大规模预训练能够显著提高图片分类和物体检测任务的表现。

May, 2018

本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与 ImageNet 预训练相比，使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用 COCO 数据进行预训练时，检测和实例分割性能超过了监督的 ImageNet 预训练方法。

Dec, 2021

该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移至下游任务，并在多个下游任务上的实验研究表明，LOOK 优于其他监督和自监督预训练方法。

Oct, 2021

引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

Mar, 2021

本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

Jun, 2020

本文研究预训练在图像处理系统中的作用，采用基于 Transformer 的预训练机制提高各种低级任务的性能，并设计一整套对内部表示影响的评估工具。实验证明，预训练对低级任务有着截然不同的影响，其中多任务预训练是最有效和数据高效的方法，本研究成功地开发了多种低级任务的最新模型。

Dec, 2021

本篇文章提出了一种新的、基于分形图像的优化预训练数据集的方法，该数据集可以在零成本的情况下实现完美的分类准确性，无需存储 / 传输巨大的图像存档，没有隐私 / 族群偏见 / 不当内容的担忧，并且图像有无限的供应和多样性。实验结果表明，利用这种新的预训练任务和基于分形的预训练方法 Fine-tune 网络可以达到 92.7-98.1% 的 ImageNet 预训练网络的准确性。

Oct, 2021

本篇论文旨在通过专门的预处理阶段、利用 WordNet 层次结构和一种称为语义 softmax 的新型训练方案，从公开可用的 ImageNet-21K 数据集中有效地进行优质高效的预训练，并展示了不同模型在各种数据集和任务上获得的令人满意的结果。

Apr, 2021

通过构建数据过滤网络，该论文研究了大训练集上数据筛选的问题，并基于该网络构建了新的图像 - 文本数据集，为状态 - of-the-art 模型训练提供了高性能数据集，同时还释放了可从公开数据从头训练高性能数据过滤网络的新的 200 亿样本数据集，以促进数据集设计的进一步研究。

Sep, 2023

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021