Jul, 2024

占据性作为一组点

HTML
PDF
TL;DR本文探讨了一种用于多视角图像的三维占位预测的新型点表示方法，名为点集占位。通过利用点的灵活性，我们提出了点兴趣（PoIs）来表示场景，并提出了一种新的基于点的三维占位预测框架OSP。OSP相较于现有方法在训练和推理适应性方面表现出色，并且在扩展传统感知边界和与基于体积的方法无缝集成以显著提高效果方面更为优越。在Occ3D nuScenes占位基准上的实验证明了OSP具有强大的性能和灵活性。代码和模型可在https://github.com/hustvl/osp找到。
发现论文，激发创造
  • 基于函数空间学习三维重建的占用网格

    本文提出了一种新的基于占据网络的、在 3D 重建方面使用的表示方法，可以在计算和内存效率上实现任意拓扑的高分辨率几何表示，并通过各种输入进行推断，产生竞争力的结果。

    Dec, 2018

  • OccuSeg：基于占据度感知的三维实例分割

    本文介绍了3D实例分割中使用的Occupancy Size作为度量标准，以增强性能，并提出了一种基于Occupancy Size的OccuSeg实例分割方法，其利用多任务学习产生了占用信号和嵌入表示，并使用聚类方案鼓励正确聚类难样本，避免过度分割，是目前在ScanNetV2、S3DIS和SceneNN等3个真实数据集上表现最优秀的方法。

    Mar, 2020

  • Occ3D：面向自动驾驶的大规模三维占据预测基准

    本研究提出了一种新的3D占据预测任务，旨在从多视图图像中估计对象的详细占据和语义信息，并介绍了Coarse-to-Fine Occupancy(CTF-Occ)网络模型，该模型在3D占据预测任务中表现出优越的性能。

    Apr, 2023

  • UniOcc: 基于几何和语义渲染的视觉中心化三维占据预测统一

    本技术报告介绍了UniOCC解决方案，它采用空间几何约束和体积光线渲染来提高3D占用预测性能，从而在CVPR2023的nuScenes Open Dataset Challenge中获得了51.27％的mIoU，在3D占用注释成本方面具有很大的潜力。

    Jun, 2023

  • OccNeRF: 基于神经辐射场的自监督多相机占用预测

    我们提出了一种自我监督的多摄像机占用预测OccNeRF方法，用于三维占用预测任务和语义占用预测任务。

    Dec, 2023

  • RadOcc：通过渲染辅助蒸馏学习跨模态占位知识

    探索3D场景的占据状态和语义的三维占据预测任务中，通过利用更强大的多模态模型在训练时指导视觉模型，提出了渲染辅助蒸馏的范例RadOcc，其中利用可微的体积渲染在透视视图中生成深度和语义图，并提出了两个新的一致性标准，即深度一致性损失和语义一致性损失，实验证明该方法在提高各种3D占据预测方法方面的有效性。

    Dec, 2023

  • OccFlowNet: 基于可微分渲染和占据流的自监督占据估计

    通过利用2D标签，我们提出了一种基于神经辐射场（NeRF）的新方法来估计体素占据，结合时间渲染和占据流，进一步推进了体素占据预测，并且在该领域中取得了最先进的性能。

    Feb, 2024

  • OccFusion: 无深度估计的多传感器融合用于3D占据预测

    基于多传感器融合的3D占用预测方法OccFusion，使用无需深度估计的多模态融合以及相应的点云采样算法，通过主动训练方法和主动粗到细流程，提高了复杂场景中预测的准确性和鲁棒性，有效优化了计算资源需求。在开放占用评测中，该方法超过了现有基于多模态的最先进方法，并且训练和推理阶段更加高效。细致的消融研究证明了我们提出的技术的有效性。

    Mar, 2024

  • 可扩展室内场景的单目占据预测

    室内场景的相机三维占据预测在外部驾驶场景中近来引起了越来越多的关注，然而，在室内场景中的研究相对较少。这篇论文中，我们提出了一种名为ISO的新方法，用于使用单目图像预测室内场景的占据情况。ISO利用预训练的深度模型的优势来实现准确的深度预测。此外，我们在ISO中引入了双特征视线投影（D-FLoSP）模块，增强了三维体素特征的学习。为了促进该领域的进一步研究，我们介绍了Occ-ScanNet，一个用于室内场景的大规模占据基准。它的数据集大小比NYUv2数据集大40倍，为未来的可扩展室内场景分析研究提供了便利。在NYUv2和Occ-ScanNet上的实验结果表明，我们的方法达到了最先进的性能。数据集和代码已在此URL公开。

    Jul, 2024

  • 自适应分辨率占用预测

    本研究针对传统3D感知方法在复杂城市场景中存在的环境细节不足问题，提出了AdaOcc，一种新颖的自适应分辨率多模态预测方法。该方法在感兴趣区域内进行高精度3D重建，并通过点云表示，实现了在不同驾驶场景下的准确语义占用预测。实验结果显示，AdaOcc在近距离场景中的IOU和Hausdorff距离分别比现有基准提高超过13%和40%。

    Aug, 2024