Oct, 2023

轻量级全卷积孪生跟踪器

PDF
TL;DR本文提出一种轻量级的卷积双支追踪器 LightFC，使用了高效交叉相关模块（ECM）和高效中心头（ERH）来增强特征表达，并通过重新参数化技术和通道注意力来改善非线性表达能力。实验证明，LightFC 在性能、参数、Flops 和 FPS 之间取得了较好的平衡，在 LaSOT 和 TNL2K 上的精确度得分分别比 MixFormerV2-S 高出 3.7％和 6.5％，同时使用的参数减少了 5 倍，并且 Flops 减少了 4.6 倍。此外，LightFC 在 CPU 上运行速度是 MixFormerV2-S 的 2 倍。
发现论文，激发创造
  • 分阶段深度相关和特征融合用于孪生物体追踪

    我们提出了一种名为 DCFFNet 的新型分阶段深度相关性和特征融合网络，用于进一步优化可视化跟踪的特征提取。我们基于孪生网络架构构建了我们的深度跟踪器，该网络从头开始离线训练，利用多个大规模数据集进行端到端训练。我们将改进的 ResNet-50 与提出的相关性融合层相结合，构成我们模型的特征提取器。广泛的实验结果表明，我们提出的方法在准确性和精度方面与许多领先的跟踪器相比具有竞争力，同时满足应用的实时要求。

    Oct, 2023

  • 面向实时和能量高效的孪生跟踪 —— 一种硬件软件方法

    本文提出了一种基于量化 Siamese 网络和 Om Vivado HLS 的硬件软件实现方法，该方法可显著提高计算效率，是一种可用于低功耗应用的能耗有效型跟踪器。

    May, 2022

  • 学习融合不对称特征映射在孪生跟踪器中

    该研究提出了一种可学习的模块 —— 不对称卷积 (ACM)，通过在大规模数据的离线训练中学习更好地捕获语义相关信息，有效克服了现有 Siamese 跟踪器中存在的问题。同时，将 ACM 集成到现有的 SiamFC，SiamRPN ++ 和 SiamBAN 中，实验证明 ACM 优于现有方法，在六项跟踪基准测试中均得到了令人满意的结果。

    Dec, 2020

  • 全卷积孪生网络用于目标跟踪

    使用 ILSVRC15 数据集训练的全卷积 Siamese 网络在视频中实现物体检测和追踪，取得了多项基准测试中的最优性能。

    Jun, 2016

  • SiamFC++：基于目标估计指南的鲁棒高精度视觉跟踪

    该研究提出了一套针对高性能通用物体跟踪器设计的实用目标状态估计指南，根据这些指南设计了 Fully Convolutional Siamese tracker++（SiamFC ++）， 并在五个有挑战性的基准测试（OTB2015，VOT2018，LaSOT，GOT-10k，TrackingNet）上取得了最先进的性能。在大规模的 TrackingNet 数据集上，SiamFC ++ 实现了 75.4 的 AUC 得分，远高于实时要求。

    Nov, 2019

  • 深度和广度更大的连体网络，用于实时视觉跟踪

    本文提出了使用新型残差模块和控制尺寸和步幅的新型架构的方法来增强追踪鲁棒性和准确性，并在 SiamFC 和 SiamRPN 中应用这些架构，从而获得了统计显著的相对改进。

    Jan, 2019

  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 多相关等式变压器网络与稠密连接用于 3D 单物体跟踪

    稀疏 LiDAR 点云数据仍然存在挑战，因此本文提出了一种多相关 Siamese Transformer 网络，通过在每个阶段末尾基于稀疏支柱进行特征相关，以学习搜索区域的特征并保持模板的独立特征。该算法在 KITTI、nuScenes 和 Waymo 数据集上取得了有希望的性能，并提供了对每个组件有效性的消融实验研究。

    Dec, 2023

  • LightTrack: 通过一次架构搜索找到用于目标跟踪的轻量级神经网络

    使用神经架构搜索设计轻量级和高效的物体追踪器，实现更好的性能并在资源受限的应用中取得快速运行，从而缩小物体追踪任务中学术模型和工业部署之间的差距。

    Apr, 2021

  • SiamTHN: 用于视觉跟踪的连体目标高亮网络

    本文提出了一种基于孪生网络的目标跟踪方法，其中引入了目标强调模块来提高相似性响应映射的目标区域的聚焦能力，同时使用校正损失来训练模型以减少分类和回归之间的不匹配，实验表明该方法优于当前模型在性能上表现，同时效率达到 38 fps。

    Mar, 2023