Mar, 2024

OccFiner: 基于混合传播的离线占用状态精炼

PDF
TL;DROccFiner 是一个新颖的离线框架，旨在提高基于视觉的占位预测的准确性，通过多对多局部传播网络和区域中心全局传播两个混合阶段来解决几何和语义估计、视角变化连续性以及单视图遮挡等问题，从而在各种粗略占位类型上实现了几何和语义准确性的提升，创造了 SemanticKITTI 数据集上的最新性能记录，并超越了基于激光雷达的离线 SSC 模型的水平。
vision-based occupancy prediction3d semantic scene completionoccfinermulti-to-multi local propagation networkregion-centric global propagation
发现论文，激发创造
  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • FastOcc: 通过融合二维俯视图和透视视图加速三维占据预测

    在自动驾驶中，通过分析网络效应和延迟，本文提出了一种名为 FastOcc 的新方法，通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络，加快模型的推理速度，同时保持准确性，从而实现了优越的性能。

    Mar, 2024

  • OccFusion: 无深度估计的多传感器融合用于 3D 占据预测

    基于多传感器融合的 3D 占用预测方法 OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。

    Mar, 2024

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • OccFormer: 双路径 Transformer 用于基于视觉的 3D 语义占用预测

    本文介绍了 OccFormer，一种双路径 Transformer 网络，有效地处理了用于自主驾驶的 3D 立体体素特征，并在 SemanticKITTI 数据集上对语义完整性和 nuScenes 数据集上的 LiDAR 语义分割方面优于现有方法。

    Apr, 2023

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

    Apr, 2023

  • GEOcc：几何增强的三维占据网络与隐式 - 显式深度融合和上下文自监督

    本文提出了 GEOcc，一种适用于仅使用视觉的全景视图感知的几何增强占用网络，它通过将环视图图像转换为密集的三维网格内的集成几何和语义表示来实现对三维占用的感知，解决了目前模型面临的两个主要挑战：在二维至三维视图变换阶段准确建模深度，以及由于稀疏的 LiDAR 监督引起的泛化问题的缺乏。

    May, 2024

  • Co-Occ: 融合显式特征融合和体渲染正则化的多模态三维语义占据预测

    该研究论文提出了一种名为 Co-Occ 的新型多模态 LiDAR - 相机三维语义占据预测框架，通过显式 LiDAR - 相机特征融合和隐式体素渲染正则化，有效地处理了多模态语义占据预测中不同模态数据的异构性、错配性和互作不足问题，从而提高了三维语义占据预测的质量。

    Apr, 2024

  • SCFusion：基于语义完整性的实时增量场景重建

    通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架，其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成，并将其与全局三维模型相融合，从而最终达到精准高效的三维语义场景完整。

    Oct, 2020

  • UniOcc: 基于几何和语义渲染的视觉中心化三维占据预测统一

    本技术报告介绍了 UniOCC 解决方案，它采用空间几何约束和体积光线渲染来提高 3D 占用预测性能，从而在 CVPR2023 的 nuScenes Open Dataset Challenge 中获得了 51.27％的 mIoU，在 3D 占用注释成本方面具有很大的潜力。

    Jun, 2023