我们提出了一种通过无监督 / 自监督学习训练单阶段目标检测器的创新方法，该方法有潜力彻底改变标注过程，大大减少人工标注所需的时间和成本，并为之前难以实现的研究机会铺平了道路。与现有的主要针对分类任务的无监督学习方法不同，我们的方法承担了目标检测的独特挑战，开创了 intra-image 对比学习与 inter-image 对应的概念，能够获取目标检测所需的重要位置信息。该方法熟练地学习和表示这些位置信息，并生成信息丰富的热图。我们的结果展示了 89.2% 的卓越准确率，在计算机视觉领域的无监督目标检测领域突破性地提高了 15 倍，相比随机初始化。

Feb, 2024

通过选择性搜索提出边界框，引入物体层次表征，结合 FPN 等所需模块的预训练神经网络，并配备物体检测属性，该文提出的选择性物体对比学习（SoCo）方法在物体检测领域取得了最先进的转移学习结果。

Jun, 2021

在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

Jun, 2020

使用预训练的深度神经网络在少量可用数据中实现强大结果，针对密集问题如物体检测，学习图像中的局部信息而非全局信息被证明更有效。为了解决这个问题，我们对最近在社区中表现良好且具有生成多样化目标提案特性的基于 Transformer 的物体检测器感兴趣，在此工作中，我们提出了一种利用该特性的新型无监督整体预训练方法 ProSeCo，使用检测器生成的大量目标提案进行对比学习，从而允许使用较小的批量大小，并结合物体级特征学习图像中的局部信息。为了改善对比损失的有效性，在选择正样本时引入物体位置信息以考虑多个重叠的目标提案。当重用预训练的骨干网络时，我们主张在骨干网络和检测头之间一致学习局部信息。我们证明了我们的方法在使用较少数据进行物体检测的无监督预训练中优于现有方法，在标准和新颖的基准测试中表现出色。

Oct, 2023

本文介绍了一种基于像素的密集自监督学习方法，通过考虑局部特征之间的对应关系，实现了对密集预测任务的有效优化，包括物体检测，语义分割和实例分割。与基线方法 MoCo-v2 相比，该方法仅引入了微不足道的计算开销，但表现出了更好的性能。

Nov, 2020

本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

May, 2021

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

本文探讨了 13 种自监督学习模型对 40 个下游任务的传输性能，发现自监督学习在多数任务上的表现均优于监督学习，但仍需解决通用预训练的问题。探究特征表明，自监督学习方法在保留颜色信息方面不如监督学习方法，但分类器校准和过度拟合问题相对较少。

Nov, 2020

基于自主车辆的关键挑战是准确检测环境中的物体。我们引入 PatchContrast，这是一个创新的自我监督点云预训练框架，用于 3D 物体检测。通过提出两个抽象层次的利用，我们学习未标记数据的判别性表示：提案级别和补丁级别。提案级别旨在确定物体相对于周围环境的位置，而补丁级别增加了关于物体组件之间内部连接的信息，从而根据它们的独立组件区分不同的对象。我们展示了如何将这些级别集成到自我监督预训练中以增强下游的 3D 检测任务，并证明我们的方法在三个常用的 3D 检测数据集上优于现有的最先进模型。

Aug, 2023

本研究旨在推进自主学习预训练模型专门用于物体检测。通过提出一种名为实例定位的自我监督预文本任务，该任务涉及将图像实例粘贴到背景图像的各个位置和尺度上。将包围框集成到预训练中可促进更好的任务对齐和转移学习的架构对齐。通过在边界框上应用增强方法，模型成为弱于 Imagenet 语义分类但强于图像补丁定位的更强的预训练模型，对 PASCAL VOC 和 MSCOCO 上的物体检测产生最先进的转移学习结果。

Feb, 2021