May, 2023

OVO: 开放词汇占用

PDF
TL;DR本文提出了 Open Vocabulary Occupancy (OVO) 算法，通过知识蒸馏和像素 - 体素筛选两个关键步骤，可以对任意类别进行语义占据的预测，同时适用于大多数最先进的语义占据预测模型。在 NYUv2 和 SemanticKITTI 数据集上，OVO 与有监督的方法相比具有竞争性的性能。
semantic occupancy predictionopen vocabulary occupancy (ovo)knowledge distillationpixel-voxel filteringautonomous agent
发现论文，激发创造
  • POP-3D：基于图像的开放词汇 3D 实占预测

    我们描述了一种预测开放词汇的 3D 语义体素占用图的方法，该方法可实现对自由形式语言查询进行 3D 定位、分割和检索。我们设计了一种新的模型架构，包括 2D-3D 编码器、占用预测和 3D 语言头；开发了一种三模态自监督学习算法，利用图像、语言和 LiDAR 点云三种模态来训练所提出的架构；并在几个开放词汇任务上定量展示了所提出模型的优势。

    Jan, 2024

  • OG：采用实例分割和视觉定位技术增强视觉占有率

    本篇研究提出一种称为 Occupancy Grounding (OG) 的新模型，该模型通过实例分割和视觉定位实现体素的可视化推理。该方法采用的关键策略是亲和力领域预测和对其进行实例聚类，并以对齐 2D 实例掩模和 3D 所占据的实例的关联策略为特征。

    Jul, 2023

  • OpenOcc：基于占据表示的开放词汇量三维场景重建

    我们提出了 OpenOcc，一种将 3D 场景重建和开放词汇理解与神经辐射场结合的新型框架。通过占位表示法对场景的几何结构进行建模，并通过体素渲染将预训练的开放词汇模型蒸馏为 3D 语言场，以实现零 - shot 推理。此外，我们提出了一种新颖的语义感知置信度传播（SCP）方法，以缓解由于蒸馏特征中不一致测量而引起的语言场表示退化问题。实验证明，我们的方法在 3D 场景理解任务中取得了有竞争力的性能，特别是对于小物体和长尾物体。

    Mar, 2024

  • 场景作为占用

    通过提出一种新的 3D Occupancy 表示法 (OccNet)，并在 nuScenes 数据集上建立了 OpenOcc，我们方法能够有效地为多个驾驶任务提供有力的支持，并取得了显著的性能收益，例如运动规划可以实现 15％-58％的碰撞率降低。

    Jun, 2023

  • UniOcc: 基于几何和语义渲染的视觉中心化三维占据预测统一

    本技术报告介绍了 UniOCC 解决方案，它采用空间几何约束和体积光线渲染来提高 3D 占用预测性能，从而在 CVPR2023 的 nuScenes Open Dataset Challenge 中获得了 51.27％的 mIoU，在 3D 占用注释成本方面具有很大的潜力。

    Jun, 2023

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • 自主驾驶中基于视觉的三维占用预测：综述与展望

    自动驾驶领域的一项新兴感知任务是基于视觉的 3D 占用状态预测，该论文对其背景、挑战、研究进展和未来展望进行了综述，并提供了与该主题相关的论文、数据集和代码的收集。

    May, 2024

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

    Apr, 2023

  • MonoOcc: 单目语义占据预测深入研究

    提出了一种名为 MonoOcc 的方法，通过在框架的浅层引入辅助语义损失作为监督和利用图像条件下的交叉注意力模块来改进单目占据预测框架，并利用较低的硬件成本将时间信息和更丰富的知识从更大的图像主干传输到单目语义占据预测框架，从而取得了基于相机的 SemanticKITTI 场景完成基准测试中的最佳性能。

    Mar, 2024

  • 连接自动化车辆中的混合特征融合协同语义占用预测

    介绍一种用于协同 3D 语义占据预测的方法，通过混合特征融合和车辆之间共享的压缩正交注意力特征来改进本地 3D 语义占据的预测，结果表明我们的协同语义占据预测在精确度和路面环境中的语义感知方面都优于单车的结果，并在后续感知应用中超越了最先进的协同 3D 检测技术。

    Feb, 2024