May, 2023

3D 单目标跟踪的相关金字塔网络

PDF
TL;DR本文提出了一种新颖的相关金字塔网络（CorpNet），采用统一的编码器和运动分解解码器，着重解决了如何从稀疏不完整的点云中学习目标感知表征的中心问题。经过实验证明，该方法在两个常用数据集上均取得了最先进的结果，并且具有实时性。
3d lidarsingle object trackingcorrelation pyramid networkencoderdecoder
发现论文，激发创造
  • 多相关等式变压器网络与稠密连接用于 3D 单物体跟踪

    稀疏 LiDAR 点云数据仍然存在挑战，因此本文提出了一种多相关 Siamese Transformer 网络，通过在每个阶段末尾基于稀疏支柱进行特征相关，以学习搜索区域的特征并保持模板的独立特征。该算法在 KITTI、nuScenes 和 Waymo 数据集上取得了有希望的性能，并提供了对每个组件有效性的消融实验研究。

    Dec, 2023

  • 3D Siamese Transformer 网络用于基于点云的单目标跟踪

    本文使用 Siamese Transformer 网络，结合点云的形态信息和深度信息，在 3D 单目标跟踪任务中实现了鲁棒的交叉相关学习，取得了与 KITTI、nuScenes 和 Waymo 数据集上最优的表现。

    Jul, 2022

  • PillarTrack: 基于柱的 Transformer 网络在点云上的单目标追踪重设计

    我们提出了一种基于 pillar 的 3D 单物体跟踪框架 PillarTrack，通过将稀疏的点云转化为稠密的 pillar 来保留本地和全局几何特征，并引入了一种金字塔型编码 pillar 特征编码器（PE-PFE）设计以提高每个 pillar 的特征表示，并从模态差异的角度介绍了一种高效的基于 Transformer 的骨干网络。通过在 KITTI 和 nuScenes 数据集上进行广泛实验，我们的方法表现卓越，并实现了实时跟踪速度。我们希望我们的工作能够鼓励社区重新思考现有的 3D 单物体跟踪器设计。

    Apr, 2024

  • 基于相关性学习的多目标跟踪

    本文提出了基于局部相关性模块的密集对应和可学习相关算子来增强模型的判别能力和对时间上下文的捕捉能力，从而在多目标跟踪方面取得了最先进的效果，并在 MOT17 数据集上实现了 76.5% 的 MOTA 和 73.6% 的 IDF1。

    Apr, 2021

  • 相关感知的深度跟踪

    我们提出了一种基于自注意力 / 交叉注意力的目标依赖特征网络，通过深度嵌入多层特征的交叉图像特征相关性，抑制了非目标特征，从而实现了实例变化的特征提取，在不需要额外的相关步骤的情况下可以直接用于预测目标位置，且可以灵活地在丰富的无配对图像上进行预训练，实现了较快的收敛速度和最先进的实时跟踪性能。

    Mar, 2022

  • 金字塔形状的 R-CNN：更好的性能和适应性，用于 3D 目标检测

    本文提出了一种名为金字塔 R-CNN 的框架，用于从点云中进行两阶段三维物体检测。该框架通过金字塔感兴趣区域（RoI）网格、RoI 网格注意力和密度感知半径预测模块，自适应地从稀疏点中学习特征，以解决稀疏和不均衡情况下的检测问题，并在 KITTI 数据集和 Waymo Open 数据集上显著超过最先进的 3D 检测模型。

    Sep, 2021

  • 基于 Transformer 的 3D 物体跟踪

    本文提出了一种基于 transformer 架构的特征融合网络，以解决 3D 目标跟踪中的关键问题。该网络利用自注意机制捕捉点云中不同区域之间的相互关系，并使用交叉注意力将目标提示信息融入特征中，从而提高相似度计算的效率。在 KITTI 数据集上的实验结果表明，该方法取得了最新的最佳表现。

    Oct, 2021

  • 使用相关网络的视频建模

    该文提出了一种基于可学习相关算子的替代方法，用于在视频中识别动作，并成功地应用在行为识别的多个数据集上，表现比流行的二元网络更加出色并且速度更快。

    Jun, 2019

  • 使用 Transformer 的视觉跟踪

    本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络，通过自我关注模块和交叉注意力，提高了全局和丰富的背景信息获取，支持超越局部特征的追踪效果，在多个基准测试上表现出优异的性能。

    May, 2021

  • 基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

    本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。

    Apr, 2020