Apr, 2021

Temp-Frustum Net: 时序融合的三维物体检测

PDF
TL;DR本研究提出了一种新颖的 Temporal Fusion 模块（TFM）用于三维物体的检测，它结合了先前时间步骤中的信息以减轻单帧噪声、场景视野阻塞和稀疏性对三维物体检测的影响，实验结果表明，相较于基线方法的帧间检测，我们在 KITTI 目标跟踪数据集上分别实现了 6％，4％和 6％的改进。
3d object detectionautomated driving systemspoint cloud datatemporal fusion modulekitti object tracking dataset
发现论文，激发创造
  • 基于 LSTM 的 LiDAR 点云时序三维物体检测方法

    本文提出了一种基于稀疏 LSTM 的多帧 3D 对象检测算法，使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征，并将这些特征与上一帧的隐藏和记忆特征一起输入到 LSTM 模块中，以预测当前帧中的 3D 对象，同时传递给下一帧的隐藏和记忆特征。实验结果表明，我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5％ [email protected] 和其他多帧方法 1.2％ 。据我们所知，这是在稀疏点云中首次使用 LSTM 进行 3D 对象检测的工作。

    Jul, 2020

  • 通过盒匹配实现多模式三维物体检测

    本论文提出了一种用于自动驾驶场景中多模态三维物体检测的新型融合网络 FBMNet，其通过在边界框级别上学习对应关系以自由化校准依赖，从而提供了一种用于跨模态特征对齐的替代方法。在 nuScenes 数据集上的实验表明，该方法比现有融合方法更加稳定有效，适用于异步传感器、错位传感器放置和退化相机图像等复杂情况，为实现自动驾驶场景中安全而提供了一种可行解决方案。

    May, 2023

  • 基于车辆运动预测的 3D 物体检测框架融合

    本文提出了一种基于历史帧和关联模型的 3D 物体检测方法 ——FrameFusion，使用车辆运动模型来确定物体的未来位置并应用加权非极大值抑制算法，从而获得融合后的帧，以此显著提高 3D 检测器的性能。

    Jun, 2023

  • 自动驾驶中基于 3D 激光雷达的视频物体检测的时空通道变换器

    本文提出了一种名为 Temporal-Channel Transformer 的新型转换器，用于从 Lidar 数据中模拟时空域和通道域关系以进行视频物体检测，并以网格体素为基础在 nuScenes 基准测试中取得最先进的性能。

    Nov, 2020

  • STF：时空融合模块提升视频目标检测

    通过利用视频中连续帧的冗余和相关的互补信息，我们提出了一个时空融合框架，其中包括多帧和单帧关注模块，以及可学习地合并特征图以改进物体检测性能的双帧融合模块。实验证明，该融合模块相比基线物体检测器能够提高检测性能。

    Feb, 2024

  • 用于自动驾驶的多视角三维物体检测网络

    该论文研究了自动驾驶场景下高精度的 3D 物体检测问题。其提出了 Multi-View 3D networks（MV3D）框架，该框架采用多传感器融合技术，将 LIDAR 点云和 RGB 图像作为输入，并预测有方向的 3D 界限框。实验表明，该方法在 3D 定位和 3D 检测任务方面的表现优于现有技术约 25％和 30％，在 2D 检测中也表现出显著的技术优势。

    Nov, 2016

  • LEF: 后期 - 早期时序融合在 LiDAR 3D 目标检测中的应用

    我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案，用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态，相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割，我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术，它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法，并证明在 3D 物体检测方面相对于基线模型有所改进，特别是对于挑战性的大物体类别。

    Sep, 2023

  • 基于时序图神经网络的半监督三维物体检测

    通过时态图神经网络的半监督学习，利用大量未标注的点云视频进行 3D 物体探测，实现了比基线和同等标记数据下的最新检测性能更好的检测，关键词：3D 物体探测；半监督学习；时态图神经网络；未标注数据；最新检测性能。

    Feb, 2022

  • 使用 RGB-D 或 深度图像的锥体 VoxNet 3D 物体检测

    本文介绍了一种基于 3D 点云的新型 RGB-D 物体检测系统，其中，我们使用体素化技术来提高对象的分辨率，并使用管道技术提高效率，在 SUN RGB-D 数据集上实现了与最先进技术相当的检测结果，并取得了 2 倍的加速效果。

    Oct, 2019

  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017