在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

Jun, 2020

文章分析了卷积神经网络在物体检测任务上的预训练方法对小规模数据集的图像分类、语义分割和物体检测等任务的影响，并得出了四个关键结论。

Apr, 2019

本文探讨了利用大规模社交媒体图像预测 hashtag 的卷积神经网络进行的迁移学习的行为，并展示了相应的实验结果，证明进行大规模预训练能够显著提高图片分类和物体检测任务的表现。

May, 2018

提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

Nov, 2020

引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

Mar, 2021

本篇论文旨在通过专门的预处理阶段、利用 WordNet 层次结构和一种称为语义 softmax 的新型训练方案，从公开可用的 ImageNet-21K 数据集中有效地进行优质高效的预训练，并展示了不同模型在各种数据集和任务上获得的令人满意的结果。

Apr, 2021

本文研究表明，ImageNet 预训练模型虽然在泛化方面作出了贡献，但同时也将非健壮性特性从预训练模型转移到了下游分类任务中的微调模型，本文介绍了其原因并提出了一种简单的健壮性 ImageNet 预训练解决方案。

Jun, 2021

本文提出了一种基于 light-weight general purpose architecture、light-weight upsampling 以及融合多重分辨率的特征来扩大接受域的语义分割方法，在多个数据集上获得显着的优越性能和较高的 MIoU 和帧率。

Mar, 2019

本文探讨了在具有特定应用领域的少量标记图像的情况下，使用人工合成的数据可以更好地代替 fine-tune 预训练网络，并展示了随机化流程中不同组件的个体贡献。

Jul, 2018

本篇论文讲述了一种基于预训练特征提取器，通过自蒸馏训练聚类头来学习无标签图像分类的通用方法，并介绍了一种新的目标函数，利用一种变体的点间互信息和实例加权来学习图像之间的关联，以提高聚类准确性。最终使用自监督预训练视觉 Transformer 推进了在 ImageNet 上的聚类精度达到 61.6％。

Mar, 2023