理解 3D 场景的演变对于自动驾驶决策至关重要。本文通过在 3D 占据空间中学习 OccWorld 世界模型，同时预测自车运动和周围场景的演变，提出了一种新的框架。实验证明了 OccWorld 在无需使用实例和地图监督的情况下具有有效建模驾驶场景演变的能力。

Nov, 2023

本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

Apr, 2023

通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

Jun, 2023

我们提出了 OpenOcc，一种将 3D 场景重建和开放词汇理解与神经辐射场结合的新型框架。通过占位表示法对场景的几何结构进行建模，并通过体素渲染将预训练的开放词汇模型蒸馏为 3D 语言场，以实现零 - shot 推理。此外，我们提出了一种新颖的语义感知置信度传播（SCP）方法，以缓解由于蒸馏特征中不一致测量而引起的语言场表示退化问题。实验证明，我们的方法在 3D 场景理解任务中取得了有竞争力的性能，特别是对于小物体和长尾物体。

Mar, 2024

本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

Nov, 2023

OccGen 是一种简单但强大的生成感知模型，通过预测和消除随机高斯分布产生的噪音，逐步推断并优化占用图像。

Apr, 2024

为了实现自动驾驶应用中的安全可靠的下游任务执行，我们提出了 Cam4DOcc，一个基于仅相机图像的 4D 占据预测的基准。通过评估近期未来的周围场景变化，我们将基准建立在多个公开可得的数据集之上，并提供多样的基于相机的感知与预测实现方案，以及评估协议，用于在自动驾驶场景中与感兴趣对象相关的现在和未来占据估计的性能比较。

Nov, 2023

我们提出了一种时空预测网络管道，它可以从环境和语义标签中获取过去的信息来生成未来的占用预测，并将其应用于复杂的 nuScenes 数据集中，相较于当前 SOTA，我们的方法可以预测长达 3 秒的占用情况，并不需要 HD-Maps 和明确模拟动态物体。

May, 2022

3D 基于占据的感知管道通过捕捉详细的场景描述并且展现出在各种对象类别和形状上的强泛化能力，显著推进了自动驾驶。为了提高感知的稳健性，我们利用车载雷达的最新进展，引入一种利用 4D 成像雷达传感器进行 3D 占据预测的新方法 RadarOcc。该方法通过直接处理 4D 雷达张量而绕过了稀疏雷达点云的限制，从而保留了关键场景细节。雷达的 4D 数据的体量庞大且具有噪声，RadarOcc 通过采用多普勒频率描述符、侧瓣感知空间稀疏化和范围自注意机制，创新地解决了相关挑战。为了最小化与直接坐标转换相关的插值误差，我们还设计了基于球面的特征编码，随后进行球面到笛卡尔特征聚合。我们在公开的 K-Radar 数据集上使用不同模态的各种基准方法进行基准测试，结果表明 RadarOcc 在基于雷达的 3D 占据预测方面具有最先进的性能，即使与基于 LiDAR 或摄像头的方法相比，结果仍然令人满意。此外，我们还提供了 4D 雷达在恶劣天气条件下卓越性能的定性证据，并通过消融研究探讨了关键管道组件的影响。

May, 2024

本文介绍了一种名为 PanoOcc 的方法，它是一个基于相机的 3D 全景分割方法，它使用体素查询来聚合来自多帧和多视角图像的时空信息，并将特征学习和场景表示集成到一种全面的占用表示中，用于摄像机 3D 场景理解的统一占用表示，从而实现了更好的摄像机语义分割和全景分割结果，并且该方法可以很容易地扩展到密集的占用预测。

Jun, 2023