Jul, 2024

关系DETR:探索目标检测中的显式位置关系先验

HTML
PDF
TL;DR本文提出了一种用于增强DET R（Detection Transformer）的收敛性和性能的通用方案，通过探索将位置关系先验作为注意力偏置来增强对象检测。该方法引入编码器来构建位置关系嵌入，以逐步改进注意力，进一步将DET R传统的流水线扩展为对比关系流水线，以解决非重复预测和正面监督之间的冲突。对通用和特定任务的数据集进行的广泛实验验证了该方法的有效性，并且相较于DINO，与现有的DET R检测器相比，在COCO val2017上获得了显著的改进（+2.0％AP），最新的性能（1x: 51.7％ AP，2x: 52.1％ AP）和更快的收敛速度（仅2个训练周期时AP提高超过40％）。此外，提出的关系编码器作为一种通用的即插即用组件，为理论上的任何DET R类方法带来明显改进。还引入了一个类无关的检测数据集（SA-Det-100k），实验结果表明，显式位置关系的提出提高了1.3％的AP，凸显了它对通用目标检测的潜力。
发现论文，激发创造
  • 基于平行成对R-FCN的弱监督视觉关系检测

    本文提出了一种并行、基于区域配对的全卷积网络（PPR-FCN）来解决一种新的视觉任务：弱监督视觉关系检测（WSVRD），以检测图像中的主谓宾关系，其中仅具有图像级别的对象关系地面实况。与弱监督对象检测（WSOD）问题相比，WSVRD更为具有挑战性，因为它需要检查一大组地区对，这在计算上是禁止的，更容易堵塞在局部最优解中，例如那些涉及错误的空间上下文。

    Aug, 2017

  • 使用Transformer进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和Transformer编码器-解码器架构构建DETR模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR模型概念简单且不需要专门的库。

    May, 2020

  • RelationNet++：通过Transformer解码器构建物体检测的视觉表征关系

    该研究提出了一种注意力解码器模块，用于将其他对目标不同表示形式结合到一个单一的目标检测器中，并展示了其在 RetinaNet、Faster R-CNN、FCOS 和 ATSS 等普遍目标检测框架中的广泛适用性，其中获得了大约 1.5 ~ 3.0 的 AP 提升。

    Oct, 2020

  • 空间调制的协同注意力使DETR快速收敛

    本文提出了一种简单而有效的机制——空间调制协同注意（SMCA），在检测变压器（DETR）中进行回归感知协同，以提高其收敛速度，并将多头和尺度选择注意设计集成到SMCA中，通过在COCO数据集上进行大量的消融研究，验证了SMCA的有效性。

    Jan, 2021

  • 快速训练收敛的条件DETR

    该论文介绍了一种条件交叉注意力机制，名为条件 DETR，以应对目标检测中 DETR 训练速度较慢的问题，并通过实验证明，相较于传统的 DETR，条件 DETR 在训练速度上提升了 10 倍，并可通过 https 链接获取源代码。

    Aug, 2021

  • 通过语义对齐匹配加速DETR收敛

    SAM-DETR通过解决不同特征嵌入空间中对象查询与目标特征匹配的复杂性问题，实现了语义对齐匹配，加速了收敛速度并提高了检测精度。

    Mar, 2022

  • 增强DETR收敛和多尺度特征融合的语义对齐匹配

    本文提出 Semantic-Aligned-Matching DETR++（SAM-DETR++）算法，通过在同一特征嵌入空间中投影对象查询和编码图像特征以便更容易地匹配具有类似语义的对象。此算法有效地融合了多尺度特征，加速了DETR的收敛速度并提高了检测精度，拥有成为现有DETR收敛解决方案完美补充的潜力。

    Jul, 2022

  • 具有全局聚合的DETR用于跨域弱监督物体检测

    本文提出了DETR-GA，一种基于DETR的交叉域弱监督目标检测方法，它同时进行实例级别和图像级别的预测，利用强监督和弱监督相互促进，利用注意力机制在整个图像上汇聚语义信息进行图像级别的预测以进行域对齐。

    Apr, 2023

  • SimDETR: DETR的简化自监督预训练

    使用DETR为基础的目标检测器，通过无监督预训练和利用大量未标记数据来提高检测器的性能，采用更丰富、基于语义的初始提议、基于聚类的物体伪标签的判别性训练以及自我训练等三个关键因素，显著提升了DETR在完整和低数据情况下的性能，并且证明能够在复杂图像数据集上从头开始预训练，直接实现无监督表示学习。

    Jul, 2023

  • 解耦的DETR：空间分离定位和分类以改善端到端对象检测

    通过空间解耦DETR（SD-DETR）设计方案和任务感知查询生成模块，以及通过引入对齐损失的新颖设计，我们在MSCOCO数据集上展示了在目标检测任务中DETR性能的显著提升，例如我们将Conditional DETR的性能提高了4.5 AP。

    Oct, 2023