Apr, 2024

DQ-DETR：用于微小物体检测的具有动态查询的 DETR

PDF
TL;DR我们提出了一种名为 DQ-DETR 的简单而有效的模型，其中包括三个不同的组件：分类计数模块、计数引导的特征增强和动态查询选择，以解决 DET-R 类型方法在检测微小对象方面的挑战。DQ-DETR 使用分类计数模块的预测和密度图动态调整物体查询的数量，并改善查询的位置信息。我们的模型 DQ-DETR 在以微小对象为主的 AI-TOD-V2 数据集上实现了 30.2% 的最优 mAP，优于以前基于 CNN 和 DET-R 类型方法的性能。
发现论文，激发创造
  • 通过信息增强和自适应特征融合的方式，在 DETR 中进行小物体检测

    本研究针对小物体检测中 RT-DETR 模型的准确性不足提出了两个关键改进：首先，引入细粒度路径增强方法以提供更多详细信息来精确定位小物体；其次，采用自适应特征融合算法来有效整合不同尺度的特征信息，从而提高模型对不同尺度目标的检测准确率。

    Jan, 2024

  • 稀疏半 DETR: 稀疏可学习的查询用于半监督物体检测

    Sparse Semi-DETR 是一种基于 Transformer 的端到端半监督目标检测解决方案，通过引入查询精化模块和可靠伪标签过滤模块来解决 DETR-based SSOD 框架中对象查询质量不准确和重叠预测的问题，大大提高了对小型和部分遮挡对象的检测能力，并在 MS-COCO 和 Pascal VOC 目标检测基准测试中实现了显著改进。

    Apr, 2024

  • Q-DETR: 一种高效的低位量化检测 Transformer

    本文针对量化后检测转换器（Q-DETR）信息失真问题提出分布矫正蒸馏方法（DRD），该方法可优化查询分布使熵最大化，在上层引入前景感知查询匹配策略最小化条件熵。实验表明，该方法在 COCO 数据集上，4-bit Q-DETR 可加速与 ResNet-50 骨干网一起使用的 DETR，速度提高 6.6 倍，AP 值达到 39.4％，性能仅存在 2.6％的差距。

    Apr, 2023

  • 高质量物体检测的 Rank-DETR

    引入一种基于等级的 DETR 目标检测器 Rank-DETR，通过一系列等级化设计，包括等级化架构设计和损失函数设计，提高了准确性和定位精度，并成功应用于最新的 SOTA 方法，展示了其有效性。

    Oct, 2023

  • 基于查询自适应的拥挤行人检测的 DETR

    本文提出一种自适应查询生成方法（RAQG），通过设计排名预测和自适应选择方法，使得 DETRs 在不同拥挤场景中能够自适应生成查询，并在 Crowdhuman 数据集和 Citypersons 数据集上取得了有竞争力的结果，特别是在 Crowdhuman 数据集上达到了 39.4% 的最佳 MR。

    Oct, 2023

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • DETR 不需要多尺度或局部设计

    本论文介绍了一种改进的 DETR 检测器，它采用了 “简洁” 的设计，使用单尺度特征图和全局交叉注意力计算，并没有特定的局部约束，与之前基于 DETR 的主要检测器相比，没有重新引入多尺度和局部性的架构偏好。我们展示了两种简单的技术在简洁设计中的出人意料的有效性，以弥补多尺度特征图和局部性约束缺失的问题。第一种是将盒子到像素相对位置偏差（BoxRPB）项添加到交叉注意力公式中，它很好地指导每个查询与对应的对象区域相互关注，并提供了编码灵活性。第二种是基于遮蔽图像模型（MIM）的骨干预训练，有助于学习具有细粒度定位能力的表示，并且对于补救对多尺度特征图的依赖是至关重要的。通过结合这些技术和最新的训练方法和问题形成策略，改进的 “简洁” DETR 检测器在原始 DETR 检测器的基础上取得了显著的改进。通过利用 Object365 数据集进行预训练，使用 Swin-L 骨干网络达到了 63.9 的平均精度（mAP），与依赖于多尺度特征图和基于区域的特征提取的最先进的检测器性能相媲美。代码在此 https URL 中提供。

    Aug, 2023

  • DQ-Det：基于 Transformer 的物体检测与分割的学习动态查询组合

    使用基于 Transformer 的检测和分割方法，学习检测查询列表以从变压器网络中检索信息，并学习预测每个查询中一个特定对象的位置和类别。通过学习基于图像的高层语义的动态系数的凸组合的方式，生成的动态查询更好地捕获不同图像中对象位置和类别的先验信息。利用我们的模态查询，一系列基于 DETR 的模型在多个任务中实现了一致且优秀的性能，包括物体检测，实例分割，全景分割和视频实例分割。

    Jul, 2023

  • 通过改进内容查询和相似查询聚合提升 DETR 变体性能

    本文介绍了一种自适应内容查询模块（SACQ），它利用变换器编码器的特征通过自注意力池化生成内容查询，解决了传统零初始化或可学习嵌入的内容查询缺乏信息导致性能不佳的问题。为了应对增强的集中力对匈牙利匹配训练过程的挑战，我们提出了查询聚合策略，合并来自不同查询的类似预测候选项，从而简化优化过程。在 COCO 数据集上的广泛实验证明了我们所提方法的有效性，在多种配置下对六种 DETR 变体均取得了超过 1.0 AP 的平均改进。

    May, 2024

  • 医学物体检测中的检测变形器的应用

    本研究探讨了使用 DEtection TRansformer（DETR）检测医学成像中可疑区域的可行性，研究表明这种方法能够与甚至优于当前方法进行匹配，且无需依赖锚点或手动启发式设计等方式来检测对象。

    Jun, 2023