该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

Nov, 2015

本文分析了不同的目标识别和检测技术，针对极端尺度变化进行了比较，比较了尺度特定和尺度不变的设计，提出了一种新的训练方案：图像金字塔尺度归一化检测器（SNIP），并在COCO数据集上进行了评估。

Nov, 2017

文章分析了卷积神经网络在物体检测任务上的预训练方法对小规模数据集的图像分类、语义分割和物体检测等任务的影响，并得出了四个关键结论。

Apr, 2019

本文分析了目标检测器中每个特征图的协方差矩阵的特征谱，据此提出了一种基于特征谱自动确定目标检测器通道宽度的方法，并表明我们应该开发更合适的从图像分类到目标检测（或其他任务）的知识转移方法。

Sep, 2019

在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

Jun, 2020

本研究探讨基于经典的ImageNet有监督预处理和新兴的自监督预处理方法，如simCLR和MoCo的预训练模型，通过LTH找到高度稀疏的匹配子网络，并验证其在多个下游任务的可迁移性，结果表明，在59.04％至96.48％的稀疏度下，这些匹配子网络的性能与完整的预训练模型相比没有降低。

Dec, 2020

通过选择性搜索提出边界框，引入物体层次表征，结合FPN等所需模块的预训练神经网络，并配备物体检测属性，该文提出的选择性物体对比学习（SoCo）方法在物体检测领域取得了最先进的转移学习结果。

Jun, 2021

提出一种 CA-SSL 框架，采用分离训练策略，包括热身训练阶段，在保留定位训练信号的同时忽略伪标签中的类信息，实现了从未标注的数据中提取训练信号的最优平衡；在 FCOS 目标检测等任务上，相比于 ImageNet 预训练基线模型，该模型在 3.6M 无标注数据集上实现了 4.7％ 的显著性能提升。

Dec, 2021

本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与ImageNet预训练相比，使用我们介绍的变种BEiT的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用COCO数据进行预训练时，检测和实例分割性能超过了监督的ImageNet预训练方法。

Dec, 2021

通过对最新的自我监督训练方法进行实验，发现之前的代表性自我监督方法无法提升强DET-based方法在完整数据范围上的性能，但通过结合更准确的盒子预测器和Objects365基准可以显著提高后续实验的结果，在COCO验证集上实现了AP=59.3%的强大目标检测结果，超过了H-Deformable-DETR + Swin-L的1.4%；此外，通过合成的预训练数据集（LLaVA和SDXL的组合）进行预训练，可以显著提高目标检测性能，并且在未来扩展合成预训练数据集方面有巨大优势。

Aug, 2023