Apr, 2023

面向视觉的三维目标检测的几何感知预训练

PDF
TL;DR提出了一种名为 GAPretrain 的几何意识预训练框架，通过使用几何丰富的模态和来自 LiDAR 点云的结构提示，实现跨不同模态之间的属性转移，从而解决多镜头自动驾驶中图像和视角不一致的问题，实现了很好的效果。
multi-camera3d object detectiongeometry-conscious featurespretraining frameworkview transformation
发现论文，激发创造
  • Occ-BEV: 通过三维场景重建实现多摄像机联合预训练

    通过设计 3D 解码器来利用多视图图像的鸟瞰图（BEV）特征预测 3D 场景的占位情况，为多摄像头智能驾驶提供了一种先进的、可行的和经济高效的解决方案，并取得了显着提升的结果。

    May, 2023

  • 通过遮蔽图像建模实现更好的三维知识转移，用于多视角三维理解

    本文提出了一种名为 GeoMIM 的多相机视觉转换器，通过预训练 - 微调的方法将 LiDAR BEV 模型的知识传递给 GeoMIM，以改善多视图基于相机的三维检测，并在 nuscenes 基准测试中取得了最新的表现。

    Mar, 2023

  • 通过自监督几何建模进行自动驾驶政策预训练

    本文提出了一种名为 PPGeo 的全自监督框架，通过对大规模不加标定、未标注的 YouTube 自驾视频建模，学习有关 visuomotor driving 的方针表示，从而解决样本不足和决策信息过剩等问题，并在多方面挑战性场景下取得了较大的改进。

    Jan, 2023

  • 拍照：点云模型的 3D 到 2D 生成预训练

    我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向方法性能方面的优越性，并在 Fine-tuning ScanObjectNN 分类和 ShapeNetPart 分割任务时实现了最先进的性能。

    Jul, 2023

  • GitNet: 基于几何先验的鸟瞰图分割变换

    本文介绍了一种名为 GitNet 的新型两阶段几何先验变换框架，以解决从单眼图像估计 BEV（鸟瞰图）语义地图的挑战，从而为自动驾驶提供强大的空间表示能力。GitNet 通过先进行几何引导的预对齐，然后再运用基于射线的变换模型进行分割来分别对 BEV 分割进行处理，具有较好的性能表现。

    Apr, 2022

  • GPA-3D: 无监督域自适应点云三维物体检测中的几何感知原型对齐

    提出了一种新颖的无监督领域自适应三维检测框架 GPA-3D，通过显式利用点云对象的内在几何关系来减少特征差异，从而实现跨领域的转移，并在各种基准测试中证明了其优越性。

    Aug, 2023

  • 使用几何感知循环网络学习空间常识

    这篇论文提出了一种通过结合几何学和深度视觉表示学习的思想，将其嵌入移动视觉场景理解的递归网络架构中，以学习如何将 2D 视觉特征整合到场景的潜在 3D 特征映射中，通过不同 iable 几何操作进行预测和分割，十分成功。

    Dec, 2018

  • CALICO: 用于 BEV 感知的自监督相机 - LiDAR 对比预训练

    研究了无人驾驶系统中多模态 BEV 感知的统一预训练框架，引入了 CALICO 框架，应用反差目标在 LiDAR 和相机骨干网络上实现教师模型的对比蒸馏，成功提高了 3D 目标检测和 BEV 地图分割等任务的表现。

    Jun, 2023

  • 结构信息引导的多模态预训练用于以车辆为中心的感知

    我们提出了一种新颖的面向车辆的预训练框架称为 VehicleMAE，它融合了来自车辆轮廓信息的空间结构和来自信息性高级自然语言描述的语义结构，以实现有效的车辆外观重建。我们构建了一个大规模的数据集 Autobot1M，包含约 1M 辆车图像和 12693 个文本信息，用于我们的模型的预训练。通过对四个基于车辆的下游任务的广泛实验，充分验证了我们的 VehicleMAE 的有效性。

    Dec, 2023

  • 面向活动视觉识别的几何感知循环神经网络

    该研究介绍了使用递归的几何感知神经网络，将一个场景的多个视图中的视觉信息整合到 3D 潜在特征张量中，并直接使用构建的 3D 特征存储器进行物体检测、物体分割和 3D 重建。

    Nov, 2018