Nov, 2020

自动驾驶中基于 3D 激光雷达的视频物体检测的时空通道变换器

PDF
TL;DR本文提出了一种名为 Temporal-Channel Transformer 的新型转换器，用于从 Lidar 数据中模拟时空域和通道域关系以进行视频物体检测，并以网格体素为基础在 nuScenes 基准测试中取得最先进的性能。
autonomous driving3d object detectiontemporal-channel transformerlidarstate-of-the-art performance
发现论文，激发创造
  • 学习时空变换器进行视觉跟踪

    本文提出一种新的追踪架构，它以编码 - 解码变压器作为核心组件，将目标追踪转化为直接边界框预测问题，从而实现了端到端模型，无需使用任何先前设定的锚点或提案等后处理步骤。

    Mar, 2021

  • Temp-Frustum Net: 时序融合的三维物体检测

    本研究提出了一种新颖的 Temporal Fusion 模块（TFM）用于三维物体的检测，它结合了先前时间步骤中的信息以减轻单帧噪声、场景视野阻塞和稀疏性对三维物体检测的影响，实验结果表明，相较于基线方法的帧间检测，我们在 KITTI 目标跟踪数据集上分别实现了 6％，4％和 6％的改进。

    Apr, 2021

  • 使用通道式 Transformer 提高 3D 目标检测

    本文中，我们提出了一种改进的两阶段 3D 目标检测框架 CT3D，其中利用高质量的区域提议网络和基于通道的 Transformer 架构来同时执行提议感知嵌入和通道方式的上下文聚合，以获取更准确的目标预测，具有优秀的性能和可伸缩性，尤其是在 KITTI 测试 3D 检测基准中，众车类别的 AP 为 81.77％，优于现有最先进的 3D 检测器。

    Aug, 2021

  • 基于 LiDAR 的在线三维视频物体检测：图形消息传递和时空转换关注

    本文提出了一个端到端的在线三维视频物体检测器，该模型由空间特征编码组件和时空特征聚合组件组成。在空间特征编码组件中，提出了一种新的 Pillar Message Passing Network（PMPNet）模型，用于对离散点云帧进行编码。在时空特征聚合组件中，提出了一种注意力时空变换门控循环神经网络（AST-GRU），它通过注意力机制强调了前景物体并对动态物体进行了对齐。实验结果表明，该模型在大规模 nuScenes 基准测试中实现了最先进的性能。

    Apr, 2020

  • TransVOD: 基于空间 - 时间变换器的端到端视频目标检测

    本文提出了一种基于 Transformer 和 DETR 的视频目标检测系统 TransVOD，通过时间 Transformer 和 Temporal Deformable Transformer Decoder 的设计，能够提高复杂的手工设计检测器的性能，同时在 ImageNet VID 数据集上获得了新的最佳结果。

    Jan, 2022

  • 基于 LSTM 的 LiDAR 点云时序三维物体检测方法

    本文提出了一种基于稀疏 LSTM 的多帧 3D 对象检测算法，使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征，并将这些特征与上一帧的隐藏和记忆特征一起输入到 LSTM 模块中，以预测当前帧中的 3D 对象，同时传递给下一帧的隐藏和记忆特征。实验结果表明，我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5％ [email protected] 和其他多帧方法 1.2％ 。据我们所知，这是在稀疏点云中首次使用 LSTM 进行 3D 对象检测的工作。

    Jul, 2020

  • CT3D++：基于关键点引导的通道注意力变换提升 3D 物体检测

    通过引入两个旨在准确高效地检测和定位三维空间中物体的 3D 物体检测框架，本文目的是解决当前 3D 检测的灵活性和可伸缩性不足的问题，并在 KITTI 数据集和大规模 Waymo 数据集上取得最先进的性能。

    Jun, 2024

  • PTT：用于高效时序三维物体检测的点轨迹变换器

    提出了一种基于时间 LiDAR 的三维物体检测方法，利用点云和轨迹特征相结合的点轨迹变压器和长短期记忆，实现了对三维物体的高效检测。对大规模 Waymo 数据集进行了广泛实验，证明了该方法在性能上优于现有的方法。

    Dec, 2023

  • Transformer Meets Tracker: 挖掘时间上下文，提高鲁棒性视觉跟踪

    本文提出了一个基于 transformer 的视频物体跟踪器，在 Siamese-like 跟踪管道中，编码器在模板中注入了基于注意力机制的特征强化以增强模型生成质量，解码器传递上一个模板的跟踪线索到当前帧以方便目标搜索，结果本方法作为一种最先进的记录在普遍跟踪基准上获得了成功。

    Mar, 2021

  • 面向自动驾驶的具有变换对称性的三维物体检测

    在自动驾驶领域，应用 TED 模型能够高效地检测汽车等 3D 物体。TED 利用稀疏卷积提取多通道等变体素特征，使得其在处理大量数据时仍然能快速的检测物体。同时，在 KITTI 竞赛的排名上表现十分出众，达到全球第一。

    Nov, 2022