May, 2024

通过改进内容查询和相似查询聚合提升 DETR 变体性能

PDF
TL;DR本文介绍了一种自适应内容查询模块（SACQ），它利用变换器编码器的特征通过自注意力池化生成内容查询，解决了传统零初始化或可学习嵌入的内容查询缺乏信息导致性能不佳的问题。为了应对增强的集中力对匈牙利匹配训练过程的挑战，我们提出了查询聚合策略，合并来自不同查询的类似预测候选项，从而简化优化过程。在 COCO 数据集上的广泛实验证明了我们所提方法的有效性，在多种配置下对六种 DETR 变体均取得了超过 1.0 AP 的平均改进。
query designdetrself-adaptive content queryhungarian matchingquery aggregation strategy
发现论文，激发创造
  • 基于查询自适应的拥挤行人检测的 DETR

    本文提出一种自适应查询生成方法（RAQG），通过设计排名预测和自适应选择方法，使得 DETRs 在不同拥挤场景中能够自适应生成查询，并在 Crowdhuman 数据集和 Citypersons 数据集上取得了有竞争力的结果，特别是在 Crowdhuman 数据集上达到了 39.4% 的最佳 MR。

    Oct, 2023

  • 显著性 DETR：用分层显著性过滤改进检测 Transformer

    通过引入分层显著性筛选细化和稳定的两阶段初始化查询模块，该研究论文在 DETR 类方法中取得了显著的性能提升，克服了规模偏差和语义不匹配的问题，并在多个任务特定的检测数据集上实现了 4.0% ~ 4.4% 的平均准确率（AP）提高以及在 COCO 2017 数据集上实现了 49.2% 的 AP 提高，并且使用更少的 FLOPs 达到了更高的计算效率。

    Mar, 2024

  • 增强 DETR 收敛和多尺度特征融合的语义对齐匹配

    本文提出 Semantic-Aligned-Matching DETR++（SAM-DETR++）算法，通过在同一特征嵌入空间中投影对象查询和编码图像特征以便更容易地匹配具有类似语义的对象。此算法有效地融合了多尺度特征，加速了 DETR 的收敛速度并提高了检测精度，拥有成为现有 DETR 收敛解决方案完美补充的潜力。

    Jul, 2022

  • DQ-DETR：用于微小物体检测的具有动态查询的 DETR

    我们提出了一种名为 DQ-DETR 的简单而有效的模型，其中包括三个不同的组件：分类计数模块、计数引导的特征增强和动态查询选择，以解决 DET-R 类型方法在检测微小对象方面的挑战。DQ-DETR 使用分类计数模块的预测和密度图动态调整物体查询的数量，并改善查询的位置信息。我们的模型 DQ-DETR 在以微小对象为主的 AI-TOD-V2 数据集上实现了 30.2% 的最优 mAP，优于以前基于 CNN 和 DET-R 类型方法的性能。

    Apr, 2024

  • 基于查询的视频表示方法：用于时刻检索和精华片段检测

    本文提出了一种针对视频检索和重点检测的检测变压器模型 Query-Dependent DETR，通过显式注入文本查询的上下文信息并利用对偶输入对提高模型对查询信息的利用能力来改进现有的变压器模型，其在 QVHighlights、TVSum 和 Charades-STA 数据集上展现出优异的性能。

    Mar, 2023

  • 稀疏半 DETR: 稀疏可学习的查询用于半监督物体检测

    Sparse Semi-DETR 是一种基于 Transformer 的端到端半监督目标检测解决方案，通过引入查询精化模块和可靠伪标签过滤模块来解决 DETR-based SSOD 框架中对象查询质量不准确和重叠预测的问题，大大提高了对小型和部分遮挡对象的检测能力，并在 MS-COCO 和 Pascal VOC 目标检测基准测试中实现了显著改进。

    Apr, 2024

  • 自适应聚合变压器进行端到端物体检测

    本文提出了一种名为自适应聚类变换器（ACT）的新型变换器，通过局部敏感哈希（LSH）自适应地聚类查询特征，使用样本 - 键交互来近似查询 - 键交互，将原本二次复杂度的 self-attention 减少到每层中的原型数量 K 的 O（NK），从而将检测目标与 Transformer 相结合，能够在减少计算成本的同时取得良好的精度。

    Nov, 2020

  • 通过语义对齐匹配加速 DETR 收敛

    SAM-DETR 通过解决不同特征嵌入空间中对象查询与目标特征匹配的复杂性问题，实现了语义对齐匹配，加速了收敛速度并提高了检测精度。

    Mar, 2022

  • SAP-DETR：基于关键点和查询的变换器探测器，缩短模型收敛时间的差距

    提出基于显著点的 DETR 模型以解决传统模型中参考点集中问题，显著点作为检测器，具有更强的区分能力和更快的收敛速度，实验证明其性能优于 SOTA 方法。

    Nov, 2022

  • 解耦的 DETR：空间分离定位和分类以改善端到端对象检测

    通过空间解耦 DETR（SD-DETR）设计方案和任务感知查询生成模块，以及通过引入对齐损失的新颖设计，我们在 MSCOCO 数据集上展示了在目标检测任务中 DETR 性能的显著提升，例如我们将 Conditional DETR 的性能提高了 4.5 AP。

    Oct, 2023