本文提出一种基于多模态预训练的语言条件检测框架，能够通过自然语言作为知识表示从不同的数据集中积累 “视觉词汇”，解决多数据集训练中的技术难题，并成功应用于超过 35 个目标检测任务，取得最新成果。

Sep, 2022

该研究提出了基于 transformer-based 的 MDETR 多模态推理系统，能够从图像中提取物体并进行相关性文本推理，实验表明在对象检测、自然语言问题回答等任务中均获得了最佳表现。

Apr, 2021

使用 DETR 为基础的目标检测器，通过无监督预训练和利用大量未标记数据来提高检测器的性能，采用更丰富、基于语义的初始提议、基于聚类的物体伪标签的判别性训练以及自我训练等三个关键因素，显著提升了 DETR 在完整和低数据情况下的性能，并且证明能够在复杂图像数据集上从头开始预训练，直接实现无监督表示学习。

Jul, 2023

通过对最新的自我监督训练方法进行实验，发现之前的代表性自我监督方法无法提升强 DET-based 方法在完整数据范围上的性能，但通过结合更准确的盒子预测器和 Objects365 基准可以显著提高后续实验的结果，在 COCO 验证集上实现了 AP=59.3% 的强大目标检测结果，超过了 H-Deformable-DETR + Swin-L 的 1.4%；此外，通过合成的预训练数据集（LLaVA 和 SDXL 的组合）进行预训练，可以显著提高目标检测性能，并且在未来扩展合成预训练数据集方面有巨大优势。

Aug, 2023

通过引入实例级对比损失、修订的采样策略和轻量级分配方法，我们展示了如何将 DETR 转化为 MOT 模型，学习目标的外观并保留检测能力，其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA，并在 MOT17 数据集上与现有的基于 transformer 的方法相媲美。

Nov, 2023

本论文介绍了一种改进的 DETR 检测器，它采用了 “简洁” 的设计，使用单尺度特征图和全局交叉注意力计算，并没有特定的局部约束，与之前基于 DETR 的主要检测器相比，没有重新引入多尺度和局部性的架构偏好。我们展示了两种简单的技术在简洁设计中的出人意料的有效性，以弥补多尺度特征图和局部性约束缺失的问题。第一种是将盒子到像素相对位置偏差（BoxRPB）项添加到交叉注意力公式中，它很好地指导每个查询与对应的对象区域相互关注，并提供了编码灵活性。第二种是基于遮蔽图像模型（MIM）的骨干预训练，有助于学习具有细粒度定位能力的表示，并且对于补救对多尺度特征图的依赖是至关重要的。通过结合这些技术和最新的训练方法和问题形成策略，改进的 “简洁” DETR 检测器在原始 DETR 检测器的基础上取得了显著的改进。通过利用 Object365 数据集进行预训练，使用 Swin-L 骨干网络达到了 63.9 的平均精度（mAP），与依赖于多尺度特征图和基于区域的特征提取的最先进的检测器性能相媲美。代码在此 https URL 中提供。

Aug, 2023

本研究提出了一个名为多数据集预训练的统一框架，利用来自不同数据集的注释，通过像素级原型对比损失和跨数据集混合来扩展像素级嵌入，进而显式建模关于像素类的相似度，在多个基准测试上实现了卓越的性能。

Jun, 2021

改进了 DETR 训练效率，通过使用混合的一对一和一对多监督来明确监督候选生成过程，而无需额外的解码器分支或对象查询。

Jan, 2024

该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

May, 2020

本文提出一种简单的方法，使用所有数据集上的标签训练一个统一的多数据集物体检测器，它可以自动整合数据特定输出到一个通用的语义分类体系中，避免了手动分类调和的步骤，且实验表明，该流程可以推广到新的未见数据集，而无需再次针对它们进行微调。

Feb, 2021