OccFusion: 一个简单有效的多传感器融合框架用于 3D 占用预测

Mar, 2024

OccFusion: 一个简单有效的多传感器融合框架用于 3D 占用预测

OccFusion: A Straightforward and Effective Multi-Sensor Fusion Framework for 3D Occupancy Prediction

Zhenxing Ming, Julie Stephany Berrio, Mao Shan, Stewart Worrall

TL;DR该研究论文介绍了 OccFusion，一种直观高效的传感器融合框架，可用于预测三维占据情况。通过整合来自其他传感器（如激光雷达和环绕视图雷达）的特征，该框架提高了占据情况预测的准确性和稳健性，在 nuScenes 基准测试中取得了顶尖性能。

Abstract

This paper introduces occfusion, a straightforward and efficient sensor fusion framework for predicting 3D occupancy. A comprehensive understanding of 3D scenes is crucial in autonomous driving, and recent models for 3D semantic occupancy prediction have successfully addressed the chal

occfusion sensor fusion 3d occupancy prediction lidar surround view radars

发现论文，激发创造

OccFusion: 无深度估计的多传感器融合用于 3D 占据预测

基于多传感器融合的 3D 占用预测方法 OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。

Mar, 2024

Occ3D：面向自动驾驶的大规模三维占据预测基准

本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

Apr, 2023

Co-Occ: 融合显式特征融合和体渲染正则化的多模态三维语义占据预测

该研究论文提出了一种名为 Co-Occ 的新型多模态 LiDAR - 相机三维语义占据预测框架，通过显式 LiDAR - 相机特征融合和隐式体素渲染正则化，有效地处理了多模态语义占据预测中不同模态数据的异构性、错配性和互作不足问题，从而提高了三维语义占据预测的质量。

Apr, 2024

AdaOcc：自适应前向视图变换与流模型用于 3D 占据与流预测

通过采用自适应前视转换和流建模的双阶段框架，我们提出了一种创新的方法，以增强 3D 占用和流的预测能力。我们首先独立训练占用模型，然后使用连续帧集成进行流预测。我们的方法将回归与分类相结合，以解决不同场景中的尺度变化，并利用预测的流将当前体素特征扭曲到未来帧，由未来帧的真值引导。在 nuScenes 数据集上的实验结果表明，我们的方法在准确性和鲁棒性方面取得了显著的改进，展示了我们方法在真实环境下的有效性。基于 Swin-Base 的单一模型在公共排行榜上排名第二，验证了我们方法在推进自动驾驶车辆感知系统方面的潜力。

Jul, 2024

EFFOcc: 融合效率的三维占据网络的最小基线

提出了一种高效的三维占据网络 (EFFOcc)，通过使用简单的 2D 算子和两阶段主动学习策略，最小化网络复杂性和标注要求，实现了业界领先的准确性，并支持改进的视觉占据预测。

Jun, 2024

场景作为占用

通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

Jun, 2023

UniVision：一个统一的面向视觉中心的 3D 感知框架

UniVision 是一个简单高效的框架，统一了视觉导向的自动驾驶中的三维感知任务，包括占有率预测和物体检测，并在各项公开基准测试中取得了领先的结果。

Jan, 2024

FUTR3D: 一个用于 3D 检测的统一传感器融合框架

提出了第一个统一的端到端传感器融合框架 ——FUTR3D，使用了基于查询的通用特征采样器（MAFS）和一种集合损失的 Transformer 解码器进行 3D 检测。FUTR3D 在各种传感器组合上都得到了有效验证，并且具有在不同传感器配置下实现低成本自动驾驶的优点。

Mar, 2022

PanoOcc：面向基于相机的三维全景分割的统一占据表示

本文介绍了一种名为 PanoOcc 的方法，它是一个基于相机的 3D 全景分割方法，它使用体素查询来聚合来自多帧和多视角图像的时空信息，并将特征学习和场景表示集成到一种全面的占用表示中，用于摄像机 3D 场景理解的统一占用表示，从而实现了更好的摄像机语义分割和全景分割结果，并且该方法可以很容易地扩展到密集的占用预测。

Jun, 2023

基于 LiDAR 的 4D 占位完成和预测

本文通过介绍新颖的无人驾驶 LiDAR 感知任务 OCF，将场景完整和预测问题统一为一个相互关联的框架，解决了稀疏到稠密重建、局部到完整幻觉和 3D 到 4D 预测等三个挑战，并分析了现有模型在 OCFBench 数据集上的表现，为进一步深入研究这一关键的四维感知领域提供了启发。

Oct, 2023