Nov, 2020

自适应聚合变压器进行端到端物体检测

PDF
TL;DR本文提出了一种名为自适应聚类变换器（ACT）的新型变换器，通过局部敏感哈希（LSH）自适应地聚类查询特征，使用样本 - 键交互来近似查询 - 键交互，将原本二次复杂度的 self-attention 减少到每层中的原型数量 K 的 O（NK），从而将检测目标与 Transformer 相结合，能够在减少计算成本的同时取得良好的精度。
transformerobject detectionadaptive clustering transformerlocality sensitive hashingcomputation cost
发现论文，激发创造
  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • Deformable DETR：可变形 Transformer 完整目标检测

    Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

    Oct, 2020

  • 空间调制的协同注意力使 DETR 快速收敛

    本文提出了一种简单而有效的机制 —— 空间调制协同注意（SMCA），在检测变压器（DETR）中进行回归感知协同，以提高其收敛速度，并将多头和尺度选择注意设计集成到 SMCA 中，通过在 COCO 数据集上进行大量的消融研究，验证了 SMCA 的有效性。

    Jan, 2021

  • DA-DETR: 带信息融合的领域自适应检测变压器

    设计了 DA-DETR，一种域自适应物体检测变压器，引入信息融合以实现从一个带标记的源域到一个未标记的目标域的有效传输，并采用 CTBlender 对卷积神经网络特征和变换器特征进行聚合。在多个广泛采用的域自适应基准测试中，DA-DETR 不断实现卓越的检测性能。

    Mar, 2021

  • 通过信息增强和自适应特征融合的方式，在 DETR 中进行小物体检测

    本研究针对小物体检测中 RT-DETR 模型的准确性不足提出了两个关键改进：首先，引入细粒度路径增强方法以提供更多详细信息来精确定位小物体；其次，采用自适应特征融合算法来有效整合不同尺度的特征信息，从而提高模型对不同尺度目标的检测准确率。

    Jan, 2024

  • 基于 Transformer 的目标检测

    本文提出基于 Transformer 的新方法 O²DETR，实现了复杂的有方向物体检测，无需旋转锚点，其性能表现明显优于 Faster R-CNN 和 RetinaNet。

    Jun, 2021

  • 探索 Difficult Images 对检测变换器（DETR）的鲁棒性和特性

    基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

    Oct, 2023

  • 增强 DETR 收敛和多尺度特征融合的语义对齐匹配

    本文提出 Semantic-Aligned-Matching DETR++（SAM-DETR++）算法，通过在同一特征嵌入空间中投影对象查询和编码图像特征以便更容易地匹配具有类似语义的对象。此算法有效地融合了多尺度特征，加速了 DETR 的收敛速度并提高了检测精度，拥有成为现有 DETR 收敛解决方案完美补充的潜力。

    Jul, 2022

  • 基于 Transformer 的二维物体检测综述

    本篇论文详细回顾了二十一篇相关的论文，讨论了最近在 DETR 中基于 Transformer 方法的研究进展，并涵盖了最新的改进，包括骨干网络改造，查询设计和注意力优化。同时，我们还比较了所有检测变压器的性能和网络设计。

    Jun, 2023

  • Anchor DETR：基于 Transformer 的目标检测中的查询设计

    本论文针对基于 Transformer 的物体检测算法，提出一种新的查询设计，纠正了目前算法中普遍存在的嵌入表达无法明确物体目标位置等缺陷，改为基于锚点查询方法，实现定位到特定区域及多目标检测的要求，并通过注意力变量方案来达到更好的算法性能。

    Sep, 2021