Jun, 2024

UnO: 无监督占用场景的感知和预测

PDF
TL;DR我们提出了一种使用自监督从 LiDAR 数据学习连续的 4D（时空）占据场的无监督世界模型，该模型可以轻松有效地迁移到下游任务，并在点云预测和 BEV 语义占据预测方面取得了最先进的性能，特别是在标注数据稀缺时。此外，在与先前的时空几何占据预测的最新技术进行比较时，我们的 4D 世界模型对于与自动驾驶相关的类别的对象的召回率要高得多。
self-drivingperceptionforecastingunsupervised learningoccupancy field
发现论文，激发创造
  • 点云预测作为 4D 占用预测的代理

    通过将 3D 点云预测任务从非注释 LiDAR 序列转变为时空 (4D) 占据预测任务，我们可以评估和比较各种数据集、传感器和车辆的点云预测算法。

    Feb, 2023

  • 自动驾驶中的感知与预测的隐性空间流场

    自动驾驶车辆的感知和未来预测需要用一个神经网络隐式地表示一定时间内的占用情况和流动性，以及通过使用有效的全局注意机制来克服先前显式占用预测方法的有限接受域的问题。

    Aug, 2023

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • OccNeRF: 基于神经辐射场的自监督多相机占用预测

    我们提出了一种自我监督的多摄像机占用预测 OccNeRF 方法，用于三维占用预测任务和语义占用预测任务。

    Dec, 2023

  • OccFlowNet: 基于可微分渲染和占据流的自监督占据估计

    通过利用 2D 标签，我们提出了一种基于神经辐射场（NeRF）的新方法来估计体素占据，结合时间渲染和占据流，进一步推进了体素占据预测，并且在该领域中取得了最先进的性能。

    Feb, 2024

  • 自主驾驶中基于视觉的三维占用预测：综述与展望

    自动驾驶领域的一项新兴感知任务是基于视觉的 3D 占用状态预测，该论文对其背景、挑战、研究进展和未来展望进行了综述，并提供了与该主题相关的论文、数据集和代码的收集。

    May, 2024

  • 基于 LiDAR 的 4D 占位完成和预测

    本文通过介绍新颖的无人驾驶 LiDAR 感知任务 OCF，将场景完整和预测问题统一为一个相互关联的框架，解决了稀疏到稠密重建、局部到完整幻觉和 3D 到 4D 预测等三个挑战，并分析了现有模型在 OCFBench 数据集上的表现，为进一步深入研究这一关键的四维感知领域提供了启发。

    Oct, 2023

  • 基于占据估计的汽车激光雷达自我监督

    本论文提出一种基于自监督学习的点云深度感知模型预训练方法，通过表面重建预训练任务和基于潜在向量的感知头来抓取表面信息的语义片段并提高对象检测和场景语义分割性能。

    Dec, 2022

  • 自监督占据预测中的可区分光线投射

    本文提出使用几何占据图替代以视角为中心的预测模型作为自主驾驶场景中的内部表示，通过不同 iable raycasting 预测车辆周围环境的运动，有效减少与物体的碰撞

    Oct, 2022

  • 自动驾驶中的运动预测占据流场

    提出了 Occupancy Flow Fields，这是一种新的用于自动驾驶的运动预测表示方法。该方法使用深度学习架构生成 Occupancy Flow Fields，并引入了一个新的流跟踪损失来建立占用和流动预测之间的一致性，其可在占用预测、运动估计和代理重构等三个指标上证明其有效性。新方法成功地缓解了现有的两种常用运动预测表示方法轨迹集和占用格之间的局限性。此外，该文章提出了一个新问题，即如何预测具有推测性的代理并在大规模自动驾驶数据集和公共 INTERACTION 数据集上展示了优于现有技术的结果。

    Mar, 2022