基于 Transformer 的 3D 物体跟踪
本文使用 Siamese Transformer 网络,结合点云的形态信息和深度信息,在 3D 单目标跟踪任务中实现了鲁棒的交叉相关学习,取得了与 KITTI、nuScenes 和 Waymo 数据集上最优的表现。
Jul, 2022
本文提出了一种基于 Transformer 注意力机制的特征融合方法,并将其应用于跟踪任务中。实现了在六个有挑战性的数据集上取得了很好的跟踪结果。最终得出了一个名为 TransT 的跟踪器,运行在 GPU 上的大约 50fps。
Mar, 2021
该论文提出了一种新的端到端方法来直接预测配准操作中的对应点,利用 transformer 网络结构中的自注意力和交叉注意力机制来替代传统的特征匹配和 RANSAC 算法,该方法在 3DMatch 和 ModelNet 基准上均取得了最先进的成绩。
Mar, 2022
稀疏 LiDAR 点云数据仍然存在挑战,因此本文提出了一种多相关 Siamese Transformer 网络,通过在每个阶段末尾基于稀疏支柱进行特征相关,以学习搜索区域的特征并保持模板的独立特征。该算法在 KITTI、nuScenes 和 Waymo 数据集上取得了有希望的性能,并提供了对每个组件有效性的消融实验研究。
Dec, 2023
该论文提出了一种基于注意力机制的特征融合网络,可以有效地结合模板和搜索区域的特征,解决相关操作在设计高精度跟踪算法时可能遇到的局部最优问题。实验结果表明,该方法在七个流行数据集上取得了有前途的成果。
Mar, 2022
利用 Transformers 中的注意力机制,以所有的点为输入,自动学习每个点对目标检测的贡献,并通过改进的注意力叠加方案将目标特征融合在不同的阶段,实现了最先进的 3D 目标检测性能。
Apr, 2021
本文介绍了一种基于 Transformer 编码器 - 解码器架构和强有力的注意机制的新型追踪器网络,通过自我关注模块和交叉注意力,提高了全局和丰富的背景信息获取,支持超越局部特征的追踪效果,在多个基准测试上表现出优异的性能。
May, 2021
TransFusion 是一种稳健的解决方案,用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征,使用注意机制确定应该从图像中获取哪些信息的特点,在大规模数据集上表现良好。
Mar, 2022
我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案,用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态,相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割,我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术,它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法,并证明在 3D 物体检测方面相对于基线模型有所改进,特别是对于挑战性的大物体类别。
Sep, 2023
提出了一种基于时间 LiDAR 的三维物体检测方法,利用点云和轨迹特征相结合的点轨迹变压器和长短期记忆,实现了对三维物体的高效检测。对大规模 Waymo 数据集进行了广泛实验,证明了该方法在性能上优于现有的方法。
Dec, 2023