- SemanticSpray++:湿地表自主驾驶的多模态数据集
自动驾驶汽车在相机、激光雷达和雷达传感器的支持下进行环境导航。为解决相机和激光雷达在恶劣天气如雪、雨、雾中的表现问题,文章介绍了 SemanticSpray++ 数据集,其中包含了湿地表面情境下相机、激光雷达和雷达数据的标注信息,为不同感知 - ContrastAlign:通过对比学习实现多模态三维目标检测中的稳健 BEV 特征对齐
通过对比学习来增强异构模态的对齐性,提高融合过程的稳健性,该方法在 3D 目标检测任务中取得了最先进的性能,超过了 BEVFusion 1.8% 在 nuScenes 验证集上并且在存在对齐误差的条件下优于 BEVFusion 7.3%。
- 自主车辆感知系统中的摄像机和雷达传感器数据融合的跨领域空间匹配
该研究论文提出了一种新的方法来解决自主车辆感知系统中相机和雷达传感器融合的三维物体检测问题。该方法基于深度学习的最新进展,并利用了两种传感器的优势来提高物体检测性能。通过使用先进的深度学习架构从相机图像中提取二维特征,然后应用一种新颖的跨域 - TaCOS: 任务特定仿真相机优化
通过将无导数和基于梯度的优化器结合,利用计算机图形学技术和物理摄像头特性,我们提出了一种新颖的端到端优化方法来为特定机器人任务设计摄像头,通过软件原型设计摄像头、模拟操作环境和任务以及优化摄像头设计,从而提高机器人在其应用中的性能。
- GraphBEV:面向多模态三维物体检测的鲁棒 BEV 特征对齐
本文提出了一种名为 Graph BEV 的稳健融合框架,通过解决 LiDAR 和相机 BEV 特征之间的不准确对齐问题,实现了最先进的性能,mAP 为 70.1%,超过了 BEV Fusion 1.6%,在存在不对齐噪声的条件下超过 BEV - 自动驾驶中的多目标跟踪与摄像头激光融合
本文提出了一种新颖的多模态多目标跟踪算法,用于自动驾驶汽车,该算法结合了相机和 LiDAR 数据。通过使用先进的 3D 物体检测器处理相机帧,以及使用经典的聚类技术处理 LiDAR 观察数据。该算法由三个步骤的联合过程、用于估计每个检测到的 - 基于位置引导的鱼眼图像头部姿态估计
使用鱼眼镜头进行头部姿态估计,提出了一种新的方法,通过图像中头部位置的知识来降低鱼眼畸变的负面影响,使用卷积神经网络从鱼眼图像直接估计头部姿态,无需校正或标定操作,实验证明与其他最先进的单阶段和双阶段方法相比,我们的网络显著提高了头部姿态估 - 视觉陀螺仪:深度学习特征与直接对齐相结合的全景稳定化
通过使用全景图像提出一种基于视觉陀螺仪的新技术,结合三种不同方法准确估计相机的姿态,并在不同航空器上对其进行定量和定性验证。
- 无人驾驶系统中基于学习的相机和激光雷达模拟方法综述
该论文回顾了基于学习的传感器模拟方法和验证方法的最新研究进展,重点关注相机和激光雷达这两种主要类型的感知传感器,并概述了评估感知传感器模型的常用验证技术和目前研究领域中存在的研究缺口。
- 全球定位:利用相邻和远源相机的相对时空几何约束
从单个图像中估计相对于全局框架的六自由度相机姿态的问题,我们提出了一种利用相对空间和时间几何约束的新颖网络来引导定位的深度网络的训练方法。利用相邻相机帧和场景中时空距离较远的相机帧获得的空间和时间相对姿态约束,我们的方法能够学习到在只有少量 - CalibFormer:基于 Transformer 的自动 LiDAR - 相机标定网络
本文提出了一个自动 LiDAR - 相机校准的端到端网络 CalibFormer,通过整合多层相机和 LiDAR 图像特征以获得高分辨率表示,利用多头相关模块更准确地识别特征之间的相关性,并使用 Transformer 架构从相关信息中估计 - 手眼标定
手眼标定是将传感器中心的测量映射到机器人工作空间以及使机器人能够精确移动传感器的关键问题之一,本文提出了两种手眼标定问题的解决方案,并针对线性和非线性方法进行了稳定性分析,结果表明非线性优化方法对噪声和测量误差更具鲁棒性。
- 视觉与毫米波雷达相遇:自动驾驶的三维物体感知基准
传感器融合在自主车辆的准确和健壮的感知系统中至关重要。大多数现有的数据集和感知解决方案都专注于相机和激光雷达的融合,然而相机和雷达之间的协作被显著地低估。本论文介绍了 CRUW3D 数据集,包括 66K 个在不同行驶情景中同步并进行了校准的 - 匹配与定位:基于深度特征匹配的低频单目里程计
通过使用单个相机,本文提出了一种对机器人测位的新方法,通过匹配图像特征和使用卷积神经网络进行调整,以可靠地估计机器人的位置和方向。
- FusionViT: 基于 LiDAR - 相机视觉变换的层次化 3D 物体检测
通过 FusionViT 模型,在 KITTI 和 Waymo Open 数据集上进行了大量实验,实现了最先进的性能,并且优于仅依赖于相机图像或 Lidar 点云以及最新的多模态图像 - 点云深度融合方法。
- EdgeCalib: 自动目标无关激光雷达相机校准的多帧加权边缘特征
在多模式感知系统中,精确进行 LiDAR 和相机之间的外部标定至关重要。我们介绍了一种基于边缘的方法,用于在实际场景中自动在线标定 LiDAR 和相机,通过在图像和点云中对齐边缘特征来确定外部参数,并通过边缘对应约束来优化准确的外部参数,结 - BM2CP:利用激光雷达和相机模态进行高效的协作感知
使用 LiDAR 和相机实现高效多模态感知的协作感知范式 BM2CP,可以解决多代理间传感器缺失的特殊情况,且在模拟和真实自动驾驶场景中通过较低的通信量超越了现有方法。
- 具有潜在接触的挑战交叉场景中的相机 - LiDAR 融合用于地点识别
本文介绍了一种新颖的三通道场所描述符,由图像、点云和融合分支组成,利用相机与激光雷达之间的相关性进行信息交互和融合,从而实现在具有透视变化、季节变化和场景变换等挑战性环境中进行地点识别。在 KITTI、NCLT、USVInland 和校园数 - 重新审视现实世界自主驾驶的多模态三维语义分割
CPGNet-LCF 是一个新的多模态融合框架,通过继承 CPGNet 的易于部署和实时能力来解决合并 LiDAR 和相机之间弱校准的挑战,在训练过程中引入一种新颖的弱校准知识蒸馏策略以提高其对弱校准的鲁棒性,实现了在 nuScenes 和 - 三维障碍多摄像头系统的联合目标检测与重新识别
近年来,自动驾驶领域取得了显著进展,本文提出一种新颖的修改方法,利用摄像机和激光雷达信息,将额外的分支整合到目标检测网络中,用于在同一车辆中的相邻摄像头之间重新识别物体,同时提高基线 3D 目标检测结果的质量。经过广泛实验验证,该方法在 2