Jul, 2023

SimDETR: DETR 的简化自监督预训练

PDF
TL;DR使用 DETR 为基础的目标检测器，通过无监督预训练和利用大量未标记数据来提高检测器的性能，采用更丰富、基于语义的初始提议、基于聚类的物体伪标签的判别性训练以及自我训练等三个关键因素，显著提升了 DETR 在完整和低数据情况下的性能，并且证明能够在复杂图像数据集上从头开始预训练，直接实现无监督表示学习。
detr-based object detectorsunsupervised pretraininglarge amounts of unlabeled dataricher, semantics-based initial proposalsunsupervised representation learning
发现论文，激发创造
  • 重新审视 DETR 目标检测的预训练方法

    通过对最新的自我监督训练方法进行实验，发现之前的代表性自我监督方法无法提升强 DET-based 方法在完整数据范围上的性能，但通过结合更准确的盒子预测器和 Objects365 基准可以显著提高后续实验的结果，在 COCO 验证集上实现了 AP=59.3% 的强大目标检测结果，超过了 H-Deformable-DETR + Swin-L 的 1.4%；此外，通过合成的预训练数据集（LLaVA 和 SDXL 的组合）进行预训练，可以显著提高目标检测性能，并且在未来扩展合成预训练数据集方面有巨大优势。

    Aug, 2023

  • DETReg: 无监督预训练结合区域先验用于目标检测

    本研究通过引入 DETReg，一种新的自监督方法，对整个目标检测网络进行预训练，包括目标定位和嵌入组件，取得了在 COCO 等低数据环境中许多最先进结果的 + 6.0 AP 改进的成果。

    Jun, 2021

  • 基于自我监督学习的增量式少样本物体检测

    该文提出了一种使用 DETR 目标检测器的自我监督和微调来进行增量小样本物体检测的方法，在识别新类别的同时不会遗忘基础类别，并使用知识蒸馏实现增量微调。

    May, 2022

  • 孪生 DETR

    本文提出了一种用于 Transformer 架构中 Siamese 自监督预训练的方法，通过多视角学习框架同步进行定位和区分，设计了两种自监督的预训练任务：多视区域检测和多视语义区分。

    Mar, 2023

  • DETR 不需要多尺度或局部设计

    本论文介绍了一种改进的 DETR 检测器，它采用了 “简洁” 的设计，使用单尺度特征图和全局交叉注意力计算，并没有特定的局部约束，与之前基于 DETR 的主要检测器相比，没有重新引入多尺度和局部性的架构偏好。我们展示了两种简单的技术在简洁设计中的出人意料的有效性，以弥补多尺度特征图和局部性约束缺失的问题。第一种是将盒子到像素相对位置偏差（BoxRPB）项添加到交叉注意力公式中，它很好地指导每个查询与对应的对象区域相互关注，并提供了编码灵活性。第二种是基于遮蔽图像模型（MIM）的骨干预训练，有助于学习具有细粒度定位能力的表示，并且对于补救对多尺度特征图的依赖是至关重要的。通过结合这些技术和最新的训练方法和问题形成策略，改进的 “简洁” DETR 检测器在原始 DETR 检测器的基础上取得了显著的改进。通过利用 Object365 数据集进行预训练，使用 Swin-L 骨干网络达到了 63.9 的平均精度（mAP），与依赖于多尺度特征图和基于区域的特征提取的最先进的检测器性能相媲美。代码在此 https URL 中提供。

    Aug, 2023

  • UP-DETR：基于 Transformer 的无监督预训练物体检测

    本研究提出了一种名为随机查询块检测的预训练任务 (UP-DETR)，通过多查询本地化技术和注意力掩码来将其从单一查询块推广到多查询块，提高了检测性能和收敛速度。

    Nov, 2020

  • 自监督学习在利用 Transformer 进行物体检测方面的实证研究

    研究使用自监督学习中的图像重构、遮蔽图像建模和拼图等方法来训练物体检测转换器的编码器，以实现预训练和多任务学习，并在 iSAID 数据集上进行了初步实验。

    May, 2022

  • 针对 DETR 的语言感知多个数据集检测预训练

    本文提出了一种预训练 DETR 检测器的强大框架，命名为 METR，通过引入预训练语言模型将经典的目标检测器多分类转化为二分类，从而在不需要手动标注标签空间的情况下利用多个数据集联合预训练模型，并通过组合二分匹配策略实现预测。在大量实验中表明 METR 具有出色的性能表现，并可高度灵活地传递到各种 DETR-like 检测器上。

    Apr, 2023

  • MS-DETR: 使用混合监督实现高效的 DETR 训练

    改进了 DETR 训练效率，通过使用混合的一对一和一对多监督来明确监督候选生成过程，而无需额外的解码器分支或对象查询。

    Jan, 2024

  • 增强 DETR 收敛和多尺度特征融合的语义对齐匹配

    本文提出 Semantic-Aligned-Matching DETR++（SAM-DETR++）算法，通过在同一特征嵌入空间中投影对象查询和编码图像特征以便更容易地匹配具有类似语义的对象。此算法有效地融合了多尺度特征，加速了 DETR 的收敛速度并提高了检测精度，拥有成为现有 DETR 收敛解决方案完美补充的潜力。

    Jul, 2022