Nov, 2023

用 Transformer 进行的多目标追踪的对比学习

PDF
TL;DR通过引入实例级对比损失、修订的采样策略和轻量级分配方法，我们展示了如何将 DETR 转化为 MOT 模型，学习目标的外观并保留检测能力，其性能在具有挑战性的 BDD100K 数据集上超过了先前的最新技术水平 2.6 mMOTA，并在 MOT17 数据集上与现有的基于 transformer 的方法相媲美。
detection transformer (detr)object detectionmulti-object tracking (mot)contrastive losstransformer-based methods
发现论文，激发创造
  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • 基于 Transformer 的二维物体检测综述

    本篇论文详细回顾了二十一篇相关的论文，讨论了最近在 DETR 中基于 Transformer 方法的研究进展，并涵盖了最新的改进，包括骨干网络改造，查询设计和注意力优化。同时，我们还比较了所有检测变压器的性能和网络设计。

    Jun, 2023

  • 探索 Difficult Images 对检测变换器（DETR）的鲁棒性和特性

    基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

    Oct, 2023

  • 基于 Transformer 的目标检测

    本文提出基于 Transformer 的新方法 O²DETR，实现了复杂的有方向物体检测，无需旋转锚点，其性能表现明显优于 Faster R-CNN 和 RetinaNet。

    Jun, 2021

  • Deformable DETR：可变形 Transformer 完整目标检测

    Deformable DETR 提出了一种改进的 Transformer 注意力模块，只关注于围绕参考点的一小集采样点，能够更好地实现物体检测，尤其是在小物体上，并在 COCO 基准测试上得到了有效的实验结果。

    Oct, 2020

  • MOTR: 使用 Transformer 进行端到端的多目标追踪

    本文介绍了一种名为 MOTR 的方法，它使用 track query 来建模整个视频中的跟踪实例，并引入了一种新的时域关系建模方法。实验结果表明，MOTR 在 HOTA 指标上比现有技术 ByteTrack 提高了 6.5%，在 MOT17 测试中，MOTR 的关联性能也胜过了 TrackFormer 和 TransTrack。

    May, 2021

  • 用于通用多目标跟踪的孪生 DETR

    本文针对 Generic MOT 提出了一种简单而有效的方法 Siamese-DETR，通过基于给定模板图像设计多尺度的对象查询，引入动态匹配训练策略，并通过在前一帧中添加跟踪框作为额外的查询框，简化了在线跟踪流程，将复杂的数据关联替换为更简单的非极大值抑制方法。广泛的实验证明，Siamese-DETR 在 GMOT-40 数据集上远远超过现有的 MOT 方法。

    Oct, 2023

  • 医学物体检测中的检测变形器的应用

    本研究探讨了使用 DEtection TRansformer（DETR）检测医学成像中可疑区域的可行性，研究表明这种方法能够与甚至优于当前方法进行匹配，且无需依赖锚点或手动启发式设计等方式来检测对象。

    Jun, 2023

  • MTTrans: 基于 Mean-Teacher Transformer 的跨领域目标检测

    提出了一种基于平均教师框架的端到端跨域检测 Transformer，该方法可以利用未标记的目标领域数据进行目标检测训练，并通过伪标签在领域之间传输知识。通过多层次特征对齐和优化迭代，实现了在三种领域适应场景下实现了最先进的性能，特别是 Sim10k 到 Cityscapes 情景下性能显著提高。

    May, 2022

  • DA-DETR: 带信息融合的领域自适应检测变压器

    设计了 DA-DETR，一种域自适应物体检测变压器，引入信息融合以实现从一个带标记的源域到一个未标记的目标域的有效传输，并采用 CTBlender 对卷积神经网络特征和变换器特征进行聚合。在多个广泛采用的域自适应基准测试中，DA-DETR 不断实现卓越的检测性能。

    Mar, 2021