Mar, 2024

使用内存高效稀疏卷积的自动驾驶实时三维语义占位预测

PDF
TL;DR自动驾驶车辆中，实时理解自身车辆周围的三维环境至关重要。本文介绍一种从前视二维相机图像和 LiDAR 扫描中提取特征并使用稀疏卷积网络（Minkowski Engine）进行三维语义占用预测的方法，以解决实时应用中的高计算需求和稀疏场景完整性的问题。
autonomous vehicles3d semantic occupancy mapssparse convolution networkreal-time applications3d scene completion
发现论文，激发创造
  • SparseOcc（稀疏隐含表示）：重新考虑基于视觉的语义占用预测

    提出了 SparseOcc，一种受稀疏点云处理启发的高效占据网络，利用了无损稀疏潜在表示的三个关键创新。通过空间分解的 3D 稀疏卷积核执行潜在补全的 3D 稀疏扩散器；通过特征金字塔和稀疏插值从其他尺度获取信息；将 Transformer 头改造为稀疏变种。SparseOcc 在 FLOP 上实现了惊人的 74.9% 减少，同时在精确度上有所提高。

    Apr, 2024

  • 完全稀疏的三维全景占据预测

    稀疏三维表示的实例感知的全稀疏全景占用网络 (SparseOcc) 通过稀疏的实例查询和基于掩模引导的稀疏采样，以及在先前 8 帧的时间建模的融合，实现了自主驾驶的占用预测，同时在 Occ3D-nus 数据集上达到了 26.0 的平均交并比 (mIoU)，并保持着 25.4 FPS 的实时推理速度。

    Dec, 2023

  • 使用稀疏点 - 体卷积搜索高效的 3D 架构

    提出了一种轻量级的 Sparse Point-Voxel Convolution 模块作为基础，通过基于 SPVConv 的灵活体系结构设计空间，实现了 3D Neural Architecture Search 以搜索高效而有效的网络体系结构，并将该方法应用于自动驾驶和 3D 目标检测领域，取得了较好的实验结果。

    Jul, 2020

  • 利用语义分割从稀疏雷达聚类的占据网格学习进行道路场景理解

    本文提出了一种数据驱动的方法，利用计算机视觉技术从聚类的雷达数据中学习用于占据栅格映射的逆传感器模型，将问题转化为语义分割任务，并演示了我们的学习占据网模型的表现优于传统方法，具有广泛的应用前景。

    Mar, 2019

  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • 连接自动化车辆中的混合特征融合协同语义占用预测

    介绍一种用于协同 3D 语义占据预测的方法，通过混合特征融合和车辆之间共享的压缩正交注意力特征来改进本地 3D 语义占据的预测，结果表明我们的协同语义占据预测在精确度和路面环境中的语义感知方面都优于单车的结果，并在后续感知应用中超越了最先进的协同 3D 检测技术。

    Feb, 2024

  • 自主驾驶中基于视觉的三维占用预测：综述与展望

    自动驾驶领域的一项新兴感知任务是基于视觉的 3D 占用状态预测，该论文对其背景、挑战、研究进展和未来展望进行了综述，并提供了与该主题相关的论文、数据集和代码的收集。

    May, 2024

  • 利用稀疏语义高清地图实现自动驾驶汽车定位

    本文提出了一种基于多个传感器的语义定位算法，利用车道，交通标志和车辆动态等信息，以贝叶斯滤波框架为基础，实现对稀疏语义地图的鲁棒定位，相较于传统基于几何学和 LiDAR 强度的定位器所需的储存空间降低了数个数量级，并且证明了其在 312 公里公路数据集上能够获得 0.05m 的横向精度和 1.12m 的纵向精度。

    Aug, 2019

  • FastOcc: 通过融合二维俯视图和透视视图加速三维占据预测

    在自动驾驶中，通过分析网络效应和延迟，本文提出了一种名为 FastOcc 的新方法，通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络，加快模型的推理速度，同时保持准确性，从而实现了优越的性能。

    Mar, 2024

  • GEOcc：几何增强的三维占据网络与隐式 - 显式深度融合和上下文自监督

    本文提出了 GEOcc，一种适用于仅使用视觉的全景视图感知的几何增强占用网络，它通过将环视图图像转换为密集的三维网格内的集成几何和语义表示来实现对三维占用的感知，解决了目前模型面临的两个主要挑战：在二维至三维视图变换阶段准确建模深度，以及由于稀疏的 LiDAR 监督引起的泛化问题的缺乏。

    May, 2024