Apr, 2024

OccFeat: 自监束栅格特征预测用于预训练 BEV 分割网络

PDF
TL;DR通过自监督预训练方法 OcFeat，我们引入了一种用于仅相机视角（Bird's-Eye-View）语义分割网络的预训练方法。该方法通过占用预测和特征蒸馏任务对视角网络进行预训练，在低数据情况下有效提高语义分割效果，并证实将特征蒸馏与三维占用预测相结合的有效性。
发现论文，激发创造
  • Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

    通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

    May, 2023

  • FastOcc: 通过融合二维俯视图和透视视图加速三维占据预测

    在自动驾驶中，通过分析网络效应和延迟，本文提出了一种名为 FastOcc 的新方法，通过用轻量级的 2D BEV 卷积网络代替时间消耗较大的 3D 卷积网络，加快模型的推理速度，同时保持准确性，从而实现了优越的性能。

    Mar, 2024

  • SelfOcc: 自监督视觉 3D 占据预测

    本文提出了一种自监督学习方法 SelfOcc，使用视频序列仅学习 3D 占用情况，通过将图像转换为 3D 空间来得到 3D 场景表示，并利用自监督信号优化这些表示。SelfOcc 在 SemanticKITTI 和 Occ3D 上使用单帧输入相比之前最佳方法 SceneRF 提高 58.7％，并且是首个在 Occ3D 上为周围摄像头产生合理的 3D 占用情况的自监督工作。SelfOcc 在 SemanticKITTI、KITTI-2015 和 nuScenes 上达到了最先进的结果，分别在新颖深度合成、单目深度估计和环视深度估计方面实现了高质量的深度。

    Nov, 2023

  • OccTransformer：改进 BEVFormer 以用于 3D 仅相机空间占用预测

    我们的研究论文提出了一种名为 “occTransformer” 的解决方案，用于 CVPR 2023 的自动驾驶挑战中的 3D 占据预测。该方法基于强大的基准模型 BEVFormer，并通过几种简单但有效的技术来提高其性能。

    Feb, 2024

  • 视角鸟瞰语义分割的半监督学习

    本文提出了一种新颖的半监督框架，用于通过利用未标记的图像在训练过程中提高视觉鸟瞰（BEV）语义分割的性能，包括使用一致性损失约束模型在语义预测和 BEV 特征上，以及一种名为联合旋转的新颖且有效的数据增强方法，在保持前视图像与 BEV 语义分割之间的几何关系的同时扩充数据集。对 nuScenes 和 Argoverse 数据集进行的大量实验证明了我们的半监督框架可以有效提高预测准确性。据我们所知，这是第一项利用未标记数据改进视觉 BEV 语义分割性能的工作，代码将公开提供。

    Aug, 2023

  • 基于前后向视点变换的三维占据预测

    本文简述了在 3D 占用预测挑战中获胜的解决方案，该方案基于 FB-BEV，并在其基础上进一步研究了针对 3D 占用预测任务的新设计和优化。最终结果表明，该方案在 nuScenes 数据集上获得了最先进的 mIoU 得分，排名挑战榜的第一位。

    Jul, 2023

  • BEV-IO: 用实例占用量增强鸟瞰图三维检测

    提出了一种新的 3D 检测模型 BEV-IO，利用实例占用信息和几何感知特征传播机制增强了鸟瞰图表示，实验结果表明 BEV-IO 检测器能够提供更全面的 BEV 表示并且优于现有的方法。

    May, 2023

  • SkyEye: 自监督鸟瞰视角语义地图的建立，使用单目正视图像

    本研究提出了一种自我监督的方法，可以利用来自前方视图的单个单目图像，生成 Bird's-Eye-View（BEV）语义地图，用于自动驾驶。该方法包括两种自我监督模式：隐式监督和显式监督。实验证明，这种自我监督方法在使用较少的直接监督的情况下可以达到与全监督方法相当的效果。

    Feb, 2023

  • CoBEVT：稀疏 Transformer 的合作俯视图语义分割

    本文提出了 CoBEVT，这是一个通用的多代理多摄像头感知框架，能够协同生成 BEV 地图预测。在 V2V 感知数据集 OPV2V 上的广泛实验表明，CoBEVT 实现了合作 BEV 语义分割的最先进性能。此外，CoBEVT 还可应用于其他任务，包括单代理多摄像头的 BEV 分割和多代理 LiDAR 系统的 3D 对象检测，实现了实时推理速度和最先进的性能。

    Jul, 2022

  • 自我监督的鸟瞰运动预测与跨模态信号

    通过引入新颖的跨模态自监督训练框架，本文解决了点云方法中的假流和不一致性问题，提出了三种创新的监督信号来保留场景动作的内在属性，包括遮罩 Chamfer 距离损失、分段刚性损失和时间一致性损失，通过广泛实验证明，我们提出的自监督框架在动作预测任务中优于所有先前的自监督方法。

    Jan, 2024