Apr, 2023

UniCal: 一种基于单支 Transformer 的相机 - 激光雷达标定与验证模型

PDF
TL;DR我们介绍了一种新颖的架构 UniCal，用于相机和 LiDAR 之间的外部标定，通过基于 Transformer 的骨干网络利用自注意机制来推断传感器之间的 6 自由度相对变换。与以往的方法不同，UniCal 通过将相机图像通道和 LiDAR 映射聚合到一个多通道统一表示中，再使用单分支架构联合提取特征，从而实现了早期融合。通过实验证明，我们证明 UniCal 相较于现有方法实现了最先进的结果。同时，我们还展示通过迁移学习，可将在标定任务中学习到的权重应用于标定验证任务而无需重新训练骨干网络。
发现论文，激发创造
  • CalibFormer：基于 Transformer 的自动 LiDAR - 相机标定网络

    本文提出了一个自动 LiDAR - 相机校准的端到端网络 CalibFormer，通过整合多层相机和 LiDAR 图像特征以获得高分辨率表示，利用多头相关模块更准确地识别特征之间的相关性，并使用 Transformer 架构从相关信息中估计精确的校准参数。该方法在 KITTI 数据集上实现了 0.8751cm 的平均平移误差和 0.0562° 的平均旋转误差，超过了现有最先进方法，展示了强大的鲁棒性、准确性和泛化能力。

    Nov, 2023

  • 自主驾驶车辆完整激光雷达 - 相机自校准

    本文提出了一种名为 CaLiCa 的深度自校正网络，并针对针孔相机和 Lidar 自动进行校准。利用 KITTI 数据集的实验结果表明，通过单次推论可以实现 0.154 度和 0.059 米的精度，重投影误差为 0.028 像素。

    Apr, 2023

  • UnLoc: 使用激光雷达、雷达和 / 或摄像头输入的通用自动驾驶定位方法

    本文提出了一种新的神经建模方法 - UnLoc，旨在实现在多种天气条件下，利用多个传感器输入实现定位的目的，由多个数据流组成的多流网络，能够处理激光雷达、摄像头和雷达等多种传感器输入。

    Jul, 2023

  • PseudoCal: 基于深度学习的无初始化相机 - LiDAR 自标定方法

    PseudoCal 是一种基于伪激光雷达概念的新型自校准方法，在自动驾驶车辆和移动机器人的上下文和约定中，能够独立于初始参数估计一次性完成校准，并解决现有方法无法解决的极端情况。

    Sep, 2023

  • RobustCalib：具有一致性学习的鲁棒激光雷达 - 相机外参标定

    在这篇论文中，我们提出了一种新的方法来解决激光雷达 - 相机外部参数标定问题，通过基于一致性学习的隐式重新标定，通过引入外观一致性损失和几何一致性损失来实现激光雷达和相机之间的一致性，进而提高对各种场景的适应性，并在推理过程中实现简单高效的表达，通过全面实验验证了我们的方法的准确性和鲁棒性，为进一步推动该领域的研究与开发，我们将发布我们的模型和代码。

    Dec, 2023

  • UniTR: 统一高效的多模态 Transformer 用于鸟瞰表示

    UniTR 是一种高效的多模态骨干网络，用于处理多传感器数据并实现准确可靠的自动驾驶系统的感知。它引入了一种模态不可知的转换编码器来处理不同的传感器数据，并通过视角不一致的传感器数据进行并行模态表示学习和自动跨模态交互，无需额外的融合步骤。它通过同时考虑语义丰富的 2D 透视图和几何感知的 3D 稀疏邻域关系，提出了一种新颖的多模态融合策略。在 nuScenes 评测上，UniTR 在 3D 目标检测方面取得了 + 1.1 NDS 的提高，在 BEV 地图分割方面取得了 + 12.0 mIoU 的提高，并具有较低的推理延迟。

    Aug, 2023

  • CTRL-C: 带有线分类的相机标定转换器

    本文针对单张图像相机标定提出了一种基于端到端神经网络的方法 - Camera calibration TRansformer with Line-Classification (CTRL-C)，采用 Transformer 架构有效提取全局几何信息，并辅以线分类任务训练网络，实验表明该方法在 Google Street View 和 SUN360 benchmark 数据集上超越了现有最优方法。

    Sep, 2021

  • SceneCalib: 自动无标定目标的边缘计算机视觉和激光雷达校准

    本文介绍了 SceneCalib 这一新颖的方法，该方法能够同时自我校准多摄像头与激光雷达传感器之间的外参和内参，无需专门设计标定目标和人为干预，能够适应许多户外环境。此外，该方法还能够通过明确交叉摄像头约束来确保摄像头到激光雷达的外参和摄像头到摄像头的外参是一致的。

    Apr, 2023

  • BabelCalib: 一种万能的中央摄像机标定方法

    提出了一种相机标定方法，通过后方投影模型先校准参数，然后回归到前方投影模型中，最终在绝对姿态估计任务上得出最准确的标定参数。

    Sep, 2021

  • Uni3DL: 三维和语言理解的统一模型

    Uni3DL 是一个统一的 3D 和语言理解模型，它运用于点云而不是传统的多视图图像，实现了对多种 3D 任务的支持，包括语义分割、目标检测、实例分割、视觉定位、3D 字幕和文本 - 3D 跨模态检索，并且在性能上超过了最先进的特定任务模型。

    Dec, 2023