CVPRApr, 2023

具有全局聚合的 DETR 用于跨域弱监督物体检测

PDF
TL;DR本文提出了 DETR-GA，一种基于 DETR 的交叉域弱监督目标检测方法，它同时进行实例级别和图像级别的预测，利用强监督和弱监督相互促进，利用注意力机制在整个图像上汇聚语义信息进行图像级别的预测以进行域对齐。
发现论文，激发创造
  • 级联 DETR：深入高质量的通用目标检测

    我们引入了 Cascade-DETR 用于高质量的通用目标检测，通过提出级联注意力层来共同解决对多样领域的泛化和定位准确性问题，通过限制关注先前的目标框预测来显式地将对象中心信息集成到检测解码器中。为了进一步提高准确性，我们重新审视了查询的评分，不依赖于分类分数，而是预测查询的预期 IoU，从而显著提高了置信度的校准性，最后，我们引入了一个包含来自多个领域的 10 个数据集的通用目标检测基准，UDB10，在 COCO 上也取得了最新的进展，Cascade-DETR 在 UDB10 的所有数据集上都对基于 DETR 的检测器有了显著的改进，有些甚至超过 10 个 mAP，严格质量要求下的改进效果更加显著。

    Jul, 2023

  • DA-DETR: 带信息融合的领域自适应检测变压器

    设计了 DA-DETR，一种域自适应物体检测变压器，引入信息融合以实现从一个带标记的源域到一个未标记的目标域的有效传输，并采用 CTBlender 对卷积神经网络特征和变换器特征进行聚合。在多个广泛采用的域自适应基准测试中，DA-DETR 不断实现卓越的检测性能。

    Mar, 2021

  • MTTrans: 基于 Mean-Teacher Transformer 的跨领域目标检测

    提出了一种基于平均教师框架的端到端跨域检测 Transformer，该方法可以利用未标记的目标领域数据进行目标检测训练，并通过伪标签在领域之间传输知识。通过多层次特征对齐和优化迭代，实现了在三种领域适应场景下实现了最先进的性能，特别是 Sim10k 到 Cityscapes 情景下性能显著提高。

    May, 2022

  • Semi-DETR: 基于检测 Transformer 的半监督目标检测

    我们提出了 Semi-DETR，一个基于 transformer 的端到端半监督物体检测器，通过阶段混合匹配策略、跨视图查询一致性方法和基于代价的伪标签挖掘模块解决 DETR 中存在的问题，并在 COCO 和 Pascal VOC 基准数据集上的所有 SSOD 设置中进行的实验表明，我们的方法优于所有现有方法。

    Jul, 2023

  • Meta-DETR: 利用类别内部关联的图像级少样本目标检测

    该文研究了 Few-Shot Object Detection 的元学习，提出了一种 Meta-DETR 框架，该框架利用关联聚合和 DETR 检测框架实现元学习，避免使用预测不准的区域建议，提升了知识泛化能力，在多个少样本目标检测基准测试中优于现有方法。

    Mar, 2021

  • DATR: 无监督领域自适应检测 Transformer 模型：基于数据集层面适应与原型对齐

    我们提出了一种强大的基于 DetR 的检测器，名为 Domain Adaptive Detection Transformer (DATR)，用于无监督域自适应目标检测，通过有效地对跨域特征进行类别感知的对齐，明确引导检测器实现全局表示，并通过使用教师模型生成的伪标签来减轻领域偏差，展示了我们的 DATR 在多个域适应场景中具有卓越的性能和泛化能力。

    May, 2024

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • DETR 不需要多尺度或局部设计

    本论文介绍了一种改进的 DETR 检测器，它采用了 “简洁” 的设计，使用单尺度特征图和全局交叉注意力计算，并没有特定的局部约束，与之前基于 DETR 的主要检测器相比，没有重新引入多尺度和局部性的架构偏好。我们展示了两种简单的技术在简洁设计中的出人意料的有效性，以弥补多尺度特征图和局部性约束缺失的问题。第一种是将盒子到像素相对位置偏差（BoxRPB）项添加到交叉注意力公式中，它很好地指导每个查询与对应的对象区域相互关注，并提供了编码灵活性。第二种是基于遮蔽图像模型（MIM）的骨干预训练，有助于学习具有细粒度定位能力的表示，并且对于补救对多尺度特征图的依赖是至关重要的。通过结合这些技术和最新的训练方法和问题形成策略，改进的 “简洁” DETR 检测器在原始 DETR 检测器的基础上取得了显著的改进。通过利用 Object365 数据集进行预训练，使用 Swin-L 骨干网络达到了 63.9 的平均精度（mAP），与依赖于多尺度特征图和基于区域的特征提取的最先进的检测器性能相媲美。代码在此 https URL 中提供。

    Aug, 2023

  • 解耦的 DETR：空间分离定位和分类以改善端到端对象检测

    通过空间解耦 DETR（SD-DETR）设计方案和任务感知查询生成模块，以及通过引入对齐损失的新颖设计，我们在 MSCOCO 数据集上展示了在目标检测任务中 DETR 性能的显著提升，例如我们将 Conditional DETR 的性能提高了 4.5 AP。

    Oct, 2023

  • 元学习的零射界物体检测神经网络：Meta-ZSDETR

    本文提出了一种结合 DETR 和元学习进行零样本目标检测的方法 Meta-ZSDETR，通过个体剧集为基础的元学习任务将模型训练形式化，直接使用类特定的查询进行类特定的边界框预测，并通过从分类头预测的准确性进一步过滤它们，利用提出的对比重建损失在视觉空间中进一步区分不同的类别。在 MS COCO 和 PASCAL VOC 两个基准数据集上进行了广泛实验，实验结果表明我们的方法在零样本目标检测方面优于现有的 ZSD 方法。

    Aug, 2023