ICCVAug, 2023

同步特征提取和匹配：用于 3D 物体跟踪的单支架框架

PDF
TL;DR本文提出了一种新颖的单分支框架 SyncTrack，通过同步特征提取和匹配，避免了传统的对模板和搜索区域分别进行编码器传递以及引入额外的匹配网络参数，并基于 Transformer 的动态关联实现了同步机制。此外，引入了一种新颖的注意力点采样策略 (APST) 来代替随机 / Farthest Points Sampling (FPS) 方法，通过注意力关系来指导采样，将点采样与特征学习相连接，有助于聚合更加明显和几何特征以进行稀疏点跟踪。在两个基准数据集（KITTI 和 NuScenes）上进行的广泛实验表明，SyncTrack 在实时跟踪方面取得了最先进的性能。
siamese networksynctrack3d lidar object trackingfeature extractiontransformer
发现论文，激发创造
  • 相关嵌入式 Transformer 跟踪：单分支框架

    开发强大和区分性外观模型一直是视觉目标跟踪领域中的一个长期研究挑战。我们提出了一个受 Transformer 启发的新颖单分支跟踪框架 ——SuperSBT，通过在特征网络的多个层次深度嵌入跨图像特征相关性，从而压制非目标特征，实现目标感知特征提取。与传统的双分支 Siamese 跟踪法不同，SuperSBT 能直接用于预测目标位置，提高了跟踪速度，并在多个基准测试上展现了优异的结果。

    Jan, 2024

  • 多相关等式变压器网络与稠密连接用于 3D 单物体跟踪

    稀疏 LiDAR 点云数据仍然存在挑战，因此本文提出了一种多相关 Siamese Transformer 网络，通过在每个阶段末尾基于稀疏支柱进行特征相关，以学习搜索区域的特征并保持模板的独立特征。该算法在 KITTI、nuScenes 和 Waymo 数据集上取得了有希望的性能，并提供了对每个组件有效性的消融实验研究。

    Dec, 2023

  • 3D Siamese Transformer 网络用于基于点云的单目标跟踪

    本文使用 Siamese Transformer 网络，结合点云的形态信息和深度信息，在 3D 单目标跟踪任务中实现了鲁棒的交叉相关学习，取得了与 KITTI、nuScenes 和 Waymo 数据集上最优的表现。

    Jul, 2022

  • 基于点云配准驱动的三维孪生物体追踪强鲁棒特征匹配

    本文提出一种新的点云注册驱动的 Siamese 跟踪框架，包括追踪特定的非本地注册模块和注册辅助的 Sinkhorn 模板特征聚合模块，以实现在精确定位物体的同时提高跟踪鲁棒性。

    Sep, 2022

  • 通过双分支全 Transformer 网络学习跟踪表示

    提出了一种仅基于 Transformer 的连体双支路网络，用于目标跟踪。该方法比第一步使用 CNN 提取特征，然后使用 Transformer 融合它们的最佳方法产生更好或可比的结果，在 GOT-10k 和 VOT2020 基准上优于现有技术。此外，该方法实现了实时推理速度（约 40fps）并且代码和模型将被公布。

    Dec, 2021

  • 用于实时目标追踪的双重孪生网络

    提出了一种基于 Siamese 网络的实时物体跟踪方法，利用图像分类任务中学习到的语义特征和相似度匹配任务中学习到的外观特征相结合，其中包括两个支路，一个用于语义特征学习，另一个用于外观特征学习，并针对前者提出了通道注意力机制，同时在 OTB-2013/50/100 数据集上取得了比其他实时跟踪器更好的性能。

    Feb, 2018

  • 基于 Transformer 的 3D 物体跟踪

    本文提出了一种基于 transformer 架构的特征融合网络，以解决 3D 目标跟踪中的关键问题。该网络利用自注意机制捕捉点云中不同区域之间的相互关系，并使用交叉注意力将目标提示信息融入特征中，从而提高相似度计算的效率。在 KITTI 数据集上的实验结果表明，该方法取得了最新的最佳表现。

    Oct, 2021

  • 相关感知的深度跟踪

    我们提出了一种基于自注意力 / 交叉注意力的目标依赖特征网络，通过深度嵌入多层特征的交叉图像特征相关性，抑制了非目标特征，从而实现了实例变化的特征提取，在不需要额外的相关步骤的情况下可以直接用于预测目标位置，且可以灵活地在丰富的无配对图像上进行预训练，实现了较快的收敛速度和最先进的实时跟踪性能。

    Mar, 2022

  • 全面跟踪物体表征

    该研究提出了一种建立完整物体表示进行跟踪的框架，通过使用多样的物体模板和差异度计量法，可以提高跟踪性能和健壮性，而不降低速度，并适用于需要视觉理解对象的进一步任务。

    Jul, 2019

  • 图注意力跟踪

    本文提出了一种简单的基于目标感知的 Siamese 图注意力网络解决视觉跟踪中的相似性匹配问题，通过建立完全二分图建立目标和搜索区域之间的部分对部分对应关系，并应用图注意力机制从模板特征传播目标信息到搜索特征，使用目标感知区域选择机制适配不同对象的大小和纵横比变化，实验证明该算法优于现有基于深度学习的最先进跟踪器。

    Nov, 2020