本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

Apr, 2023

3D 基于占据的感知管道通过捕捉详细的场景描述并且展现出在各种对象类别和形状上的强泛化能力，显著推进了自动驾驶。为了提高感知的稳健性，我们利用车载雷达的最新进展，引入一种利用 4D 成像雷达传感器进行 3D 占据预测的新方法 RadarOcc。该方法通过直接处理 4D 雷达张量而绕过了稀疏雷达点云的限制，从而保留了关键场景细节。雷达的 4D 数据的体量庞大且具有噪声，RadarOcc 通过采用多普勒频率描述符、侧瓣感知空间稀疏化和范围自注意机制，创新地解决了相关挑战。为了最小化与直接坐标转换相关的插值误差，我们还设计了基于球面的特征编码，随后进行球面到笛卡尔特征聚合。我们在公开的 K-Radar 数据集上使用不同模态的各种基准方法进行基准测试，结果表明 RadarOcc 在基于雷达的 3D 占据预测方面具有最先进的性能，即使与基于 LiDAR 或摄像头的方法相比，结果仍然令人满意。此外，我们还提供了 4D 雷达在恶劣天气条件下卓越性能的定性证据，并通过消融研究探讨了关键管道组件的影响。

May, 2024

本文介绍了一种名为 PanoOcc 的方法，它是一个基于相机的 3D 全景分割方法，它使用体素查询来聚合来自多帧和多视角图像的时空信息，并将特征学习和场景表示集成到一种全面的占用表示中，用于摄像机 3D 场景理解的统一占用表示，从而实现了更好的摄像机语义分割和全景分割结果，并且该方法可以很容易地扩展到密集的占用预测。

Jun, 2023

本文通过介绍新颖的无人驾驶 LiDAR 感知任务 OCF，将场景完整和预测问题统一为一个相互关联的框架，解决了稀疏到稠密重建、局部到完整幻觉和 3D 到 4D 预测等三个挑战，并分析了现有模型在 OCFBench 数据集上的表现，为进一步深入研究这一关键的四维感知领域提供了启发。

Oct, 2023

本文简述了在 3D 占用预测挑战中获胜的解决方案，该方案基于 FB-BEV，并在其基础上进一步研究了针对 3D 占用预测任务的新设计和优化。最终结果表明，该方案在 nuScenes 数据集上获得了最先进的 mIoU 得分，排名挑战榜的第一位。

Jul, 2023

通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

Jun, 2023

本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

Nov, 2023

理解 3D 场景的演变对于自动驾驶决策至关重要。本文通过在 3D 占据空间中学习 OccWorld 世界模型，同时预测自车运动和周围场景的演变，提出了一种新的框架。实验证明了 OccWorld 在无需使用实例和地图监督的情况下具有有效建模驾驶场景演变的能力。

Nov, 2023

自动驾驶领域的一项新兴感知任务是基于视觉的 3D 占用状态预测，该论文对其背景、挑战、研究进展和未来展望进行了综述，并提供了与该主题相关的论文、数据集和代码的收集。

May, 2024

理解 3D 场景的演变对于有效的自动驾驶至关重要。我们提出了一种基于扩散的 4D 占据生成模型 OccSora，以模拟自动驾驶中三维世界的发展。通过在空时表示中学习扩散变换器，我们可以在轨迹提示的条件下生成 4D 占据，展示了对驾驶场景的空间和时间分布的理解能力。具有轨迹感知的 4D 生成，OccSora 具有作为自动驾驶决策的世界模拟器的潜力。

May, 2024