更经济的预训练午餐：一种高效的目标检测范式

ECCVApr, 2020

更经济的预训练午餐：一种高效的目标检测范式

Cheaper Pre-training Lunch: An Efficient Paradigm for Object Detection

Dongzhan Zhou, Xinchi Zhou, Hongwen Zhang, Shuai Yi, Wanli Ouyang

TL;DR本文提出了 Montage 预训练的高效目标检测模型，它比 ImageNet 预训练使用更少的计算资源，通过从原始图像中提取有用的样本并以 Montage 方式组装作为输入，建立了全新的预训练模型输入模式和学习目标。在 MS-COCO 数据集上的实验证明 Montage 预训练模型可以实现与 ImageNet 预训练模型相当或更好的检测性能。

Abstract

In this paper, we propose a general and efficient pre-training paradigm, montage pre-training, for object detection. montage pre-training

montage pre-training object detection efficient paradigm erf-adaptive dense classification ms-coco dataset

发现论文，激发创造

目标检测预训练分析

文章分析了卷积神经网络在物体检测任务上的预训练方法对小规模数据集的图像分类、语义分割和物体检测等任务的影响，并得出了四个关键结论。

Apr, 2019

对比检测的高效视觉预训练

引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

Mar, 2021

面向检测的图像 - 文本预训练的开放词汇测量

基于检测导向的图像 - 文本预训练的新的开放词汇检测方法用于填补图像级预训练和开放词汇对象检测之间的差距，通过使探测器头从嘈杂的图像 - 文本对中学习，我们的方法能够利用对比损失学习到新出现的对象 - 语义线索，在 LVIS 和 COCO 基准测试中均获得了非常有竞争力的结果，并在转移检测设置中显著优于基线。

Sep, 2023

重新思考预训练和自训练

在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

Jun, 2020

AlignDet: 对象检测中的预训练和微调对齐

通过解决数据、模型和任务之间的差异，AlignDet 提出了一种统一预训练框架，可以适应各种现有的检测器，提高检测器的性能、泛化能力和收敛速度。

Jul, 2023

重思 ImageNet 预训练

使用随机初始化的标准模型，在 COCO 数据集上进行的目标检测和实例分割，结果不劣于它们的 ImageNet 预训练模型，证明预训练模型并不一定能提高模型最终的准确性。

Nov, 2018

自监督检测预训练的实例定位

本研究旨在推进自主学习预训练模型专门用于物体检测。通过提出一种名为实例定位的自我监督预文本任务，该任务涉及将图像实例粘贴到背景图像的各个位置和尺度上。将包围框集成到预训练中可促进更好的任务对齐和转移学习的架构对齐。通过在边界框上应用增强方法，模型成为弱于 Imagenet 语义分类但强于图像补丁定位的更强的预训练模型，对 PASCAL VOC 和 MSCOCO 上的物体检测产生最先进的转移学习结果。

Feb, 2021

高效条件预训练用于迁移学习

提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

Nov, 2020

小型数据集的有效二阶段训练范式检测器

这篇报告介绍了一种有效且稳健的解决方案，即 VIPriors Challenge 2023 中物体检测任务的两阶段训练范式 YOLOv8 检测器（TP-YOLOv8），通过有限的标记数据对预训练模型进行学习，利用掩模图像建模技术将 YOLOv8 的主干部分作为编码器进行预训练，再通过精细调整的增强技术对检测器进行微调，在测试阶段利用测试时增强和加权框融合来提高性能，在 DelftBikes 测试集上取得了 0.50 到 0.95 之间 30.4% 的平均精确度，排名第 4。

Sep, 2023

利用弱监督进行检测感知的预训练

本文提出了一种检测感知的预训练方法，使用弱标记分类样本集（如 ImageNet）进行预训练，但该方法是专门针对目标检测任务进行设计的，并通过一种基于类激活图的弱监督目标定位方法将分类数据集转换为检测数据集以直接预训练检测器，使得预训练模型具备了位置感知能力和边界框预测能力，结果表明该方法在 VOC 和 COCO 等下游检测任务中的样本效率和收敛速度方面均优于传统的基于分类的预训练方法，在下游任务样本较少时，该方法能大幅度提高检测精度。

Mar, 2021