Aug, 2023

重新审视 DETR 目标检测的预训练方法

HTML
PDF
TL;DR通过对最新的自我监督训练方法进行实验，发现之前的代表性自我监督方法无法提升强DET-based方法在完整数据范围上的性能，但通过结合更准确的盒子预测器和Objects365基准可以显著提高后续实验的结果，在COCO验证集上实现了AP=59.3%的强大目标检测结果，超过了H-Deformable-DETR + Swin-L的1.4%；此外，通过合成的预训练数据集（LLaVA和SDXL的组合）进行预训练，可以显著提高目标检测性能，并且在未来扩展合成预训练数据集方面有巨大优势。
发现论文，激发创造
  • 使用Transformer进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和Transformer编码器-解码器架构构建DETR模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR模型概念简单且不需要专门的库。

    May, 2020

  • 重新思考预训练和自训练

    在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

    Jun, 2020

  • UP-DETR：基于Transformer的无监督预训练物体检测

    本研究提出了一种名为随机查询块检测的预训练任务(UP-DETR)，通过多查询本地化技术和注意力掩码来将其从单一查询块推广到多查询块，提高了检测性能和收敛速度。

    Nov, 2020

  • 高效DETR: 使用密集先验改进端到端目标检测器

    本文提出使用密集先验初始化对象容器的方法，利用Efficient DETR同时利用密集检测和稀疏集检测，实现只有3个编码器层和1个解码器层的端到端物体检测，提高了算法效率和性能。在 MS COCO 数据集上的实验证明了该算法在拥挤场景下仍能稳定工作，并取得最先进算法相近的成绩，且在CrowdHuman数据集上表现优异。

    Apr, 2021

  • DETReg: 无监督预训练结合区域先验用于目标检测

    本研究通过引入DETReg，一种新的自监督方法，对整个目标检测网络进行预训练，包括目标定位和嵌入组件，取得了在COCO等低数据环境中许多最先进结果的+6.0 AP改进的成果。

    Jun, 2021

  • Sparse DETR：可学习稀疏性的高效端到端目标检测

    Sparse DETR 是第一个使用 Transformer 架构的完整目标检测器，其只更新预期被解码器引用的令牌，从而提高模型性能，使性能优于 Deformable DETR。

    Nov, 2021

  • 自监督学习在利用 Transformer 进行物体检测方面的实证研究

    研究使用自监督学习中的图像重构、遮蔽图像建模和拼图等方法来训练物体检测转换器的编码器，以实现预训练和多任务学习，并在iSAID数据集上进行了初步实验。

    May, 2022

  • 基于Transformer的二维物体检测综述

    本篇论文详细回顾了二十一篇相关的论文，讨论了最近在DETR中基于Transformer方法的研究进展，并涵盖了最新的改进，包括骨干网络改造，查询设计和注意力优化。同时，我们还比较了所有检测变压器的性能和网络设计。

    Jun, 2023

  • SimDETR: DETR的简化自监督预训练

    使用DETR为基础的目标检测器，通过无监督预训练和利用大量未标记数据来提高检测器的性能，采用更丰富、基于语义的初始提议、基于聚类的物体伪标签的判别性训练以及自我训练等三个关键因素，显著提升了DETR在完整和低数据情况下的性能，并且证明能够在复杂图像数据集上从头开始预训练，直接实现无监督表示学习。

    Jul, 2023

  • MS-DETR: 使用混合监督实现高效的DETR训练

    改进了DETR训练效率，通过使用混合的一对一和一对多监督来明确监督候选生成过程，而无需额外的解码器分支或对象查询。

    Jan, 2024