Mar, 2024

OccFusion: 无深度估计的多传感器融合用于 3D 占据预测

PDF
TL;DR基于多传感器融合的 3D 占用预测方法 OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。
3d occupancy predictionmulti-sensor fusionoccfusionpoint cloud sampling algorithmactive training method
发现论文，激发创造
  • OccFusion: 一个简单有效的多传感器融合框架用于 3D 占用预测

    该研究论文介绍了 OccFusion，一种直观高效的传感器融合框架，可用于预测三维占据情况。通过整合来自其他传感器（如激光雷达和环绕视图雷达）的特征，该框架提高了占据情况预测的准确性和稳健性，在 nuScenes 基准测试中取得了顶尖性能。

    Mar, 2024

  • Co-Occ: 融合显式特征融合和体渲染正则化的多模态三维语义占据预测

    该研究论文提出了一种名为 Co-Occ 的新型多模态 LiDAR - 相机三维语义占据预测框架，通过显式 LiDAR - 相机特征融合和隐式体素渲染正则化，有效地处理了多模态语义占据预测中不同模态数据的异构性、错配性和互作不足问题，从而提高了三维语义占据预测的质量。

    Apr, 2024

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的 3D 占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了 Coarse-to-Fine Occupancy (CTF-Occ) 网络模型，该模型在 3D 占据预测任务中表现出优越的性能。

    Apr, 2023

  • EFFOcc: 融合效率的三维占据网络的最小基线

    提出了一种高效的三维占据网络 (EFFOcc)，通过使用简单的 2D 算子和两阶段主动学习策略，最小化网络复杂性和标注要求，实现了业界领先的准确性，并支持改进的视觉占据预测。

    Jun, 2024

  • OcclusionFusion: 针对遮挡感知的实时动态 3D 重建运动估计

    本文提出了一种名为 OcclusionFusion 的新方法，使用一种基于 LSTM 图神经网络的遮挡感知 3D 运动来指导实时重建，实验证明该方法的性能比现有的基于单视角的方法要好得多。

    Mar, 2022

  • OctreeOcc: 高效的多粒度 Octree 查询方法进行占据预测

    OctreeOcc 是一种创新的 3D 占用预测框架，通过利用八叉树表示来自适应地捕捉 3D 中的有价值信息，以适应不同尺寸和复杂度的对象形状和语义区域。通过改善初始八叉树结构的准确性和设计有效的矫正机制来优化八叉树结构。在广泛的评估中，OctreeOcc 不仅在占用预测方面超越了最先进的方法，而且与基于密集网格的方法相比，还减少了 15%-24% 的计算开销。

    Dec, 2023

  • FastOcc: 通过融合二维俯视图和透视视图加速三维占据预测

    在自动驾驶中，通过分析网络效应和延迟，本文提出了一种名为 FastOcc 的新方法，通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络，加快模型的推理速度，同时保持准确性，从而实现了优越的性能。

    Mar, 2024

  • 连接自动化车辆中的混合特征融合协同语义占用预测

    介绍一种用于协同 3D 语义占据预测的方法，通过混合特征融合和车辆之间共享的压缩正交注意力特征来改进本地 3D 语义占据的预测，结果表明我们的协同语义占据预测在精确度和路面环境中的语义感知方面都优于单车的结果，并在后续感知应用中超越了最先进的协同 3D 检测技术。

    Feb, 2024

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017