Jun, 2024

BEVSpread：基于扩散体素池化的鸟瞰图表示在基于视觉的路边三维物体检测中应用

PDF
TL;DR基于视觉的道路三维物体检测中，提出了一种新的体素池化策略 BEVSpread，通过自适应权重将图像特征传播到周围的 BEV 格点，使得现有基于截锥体和 BEV 的方法在车辆、行人和骑行者方面得到明显的性能提升。
vision-based roadside 3d object detectionvoxel poolingbevspreadfrustum-based bev methodsautonomous driving
发现论文，激发创造
  • SparseBEV: 高性能稀疏 3D 多镜头视频物体检测

    SparseBEV 是一种全更稀疏的三维物体检测器，通过尺度自适应自注意力、自适应时空采样和自适应混合等关键设计，在 BEV 空间和图像空间中实现了优于稠密对应物的性能。

    Aug, 2023

  • PointBeV：基于稀疏方法的 BeV 预测

    提出了 PointBeV 方法，在稀疏的 Bird's-eye View 表示中进行分割模型操作，以有效控制内存使用，并在静态和时间设置中展示卓越性能。

    Dec, 2023

  • BEV-IO: 用实例占用量增强鸟瞰图三维检测

    提出了一种新的 3D 检测模型 BEV-IO，利用实例占用信息和几何感知特征传播机制增强了鸟瞰图表示，实验结果表明 BEV-IO 检测器能够提供更全面的 BEV 表示并且优于现有的方法。

    May, 2023

  • 自动驾驶中鸟瞰空间高效三维物体检测的卷积网络方法

    3D 物体检测在俯视（Bird's-Eye-View）空间中最近成为自动驾驶领域的一种普遍方法。本研究提出了一种高效的基于 BEV 的 3D 检测框架 BEVENet，通过采用仅卷积的架构设计，克服了 ViT 模型的局限性，同时保持了 BEV 方法的有效性。实验证明，BEVENet 在 NuScenes 挑战赛中比当代最先进方法快 3 倍，同时在 NuScenes 验证数据集上获得 0.456 的平均精确度（mAP）和 0.555 的 nuScenes 检测分数（NDS），推断速度为 47.6 帧每秒。据我们所知，这是首次实现如此显著的 BEV 方法效率改进的研究，突显了它们在实际自动驾驶应用中的可行性提升。

    Dec, 2023

  • 物体作为时空 2.5D 点

    提出一种基于弱监督学习的方法来估计具有鸟瞰视角位置的物体的三维位置，该方法可以在单个前馈网络过程中联合学习回归 2D 对象检测和场景深度预测，并在不需要 3D 或 BEV 注释或 LiDAR 数据的情况下对物体进行建模。

    Dec, 2022

  • 利用 BEV 表示进行 360 度视觉地点识别

    本文探讨了采用鸟瞰图在 360 度视觉地点识别（VPR）中的优势，提出了一种利用 BEV 表示的新型网络架构，该架构将视觉线索和空间感知进行桥接，并在两个数据集上进行了验证。

    May, 2023

  • SA-BEV: 多视角 3D 目标检测中生成语义感知鸟瞰特征

    本文介绍了一种 Semantic-Aware BEV Pooling (SA-BEVPool) 的方法，通过语义分割图像特征来过滤背景信息，并将图像特征转化为语义感知的 BEV 特征。同时，提出了一种与语义感知 BEV 特征相匹配的有效数据增强策略 BEV-Paste。此外，设计了一个多尺度交叉任务头（MSCT），结合特定任务和交叉任务的信息来更准确地预测深度分布和语义分割，进一步提高语义感知 BEV 特征的质量。最后，将这些模块整合到一个新的多视角 3D 目标检测框架 SA-BEV 中，在 nuScenes 数据集上达到了最先进的性能。

    Jul, 2023

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • 从 3D 到鸟瞰图的知识蒸馏用于 LiDAR 语义分割

    该研究提出了一种有效的三维（3D）到 Bird's-Eye-View（BEV）知识蒸馏方法，将丰富的知识从基于 Voxel 的模型传递到基于 BEV 的模型，该方法应用于自动驾驶领域的 LiDAR 点云分割任务中，明显提高了准确性，SemanticKITTI 数据集是该研究的实验验证平台。

    Apr, 2023

  • BEVFormer: 基于时空 Transformer 通过多相机图像学习鸟瞰视角表示

    本文提出了新的 BEVFormer 框架，该框架学习使用时空变形器的统一 BEV 表示，以支持多个自主驾驶感知任务。在 nuScenes 测试集中，该方法达到了 56.9％的最新技术水平，且在低能见度条件下显着提高了速度估计和对象召回的准确性。

    Mar, 2022