重新审视基于LiDAR的3D目标检测中的跨域问题
本文研究了自动驾驶中的三维物体检测适应性问题,发现适应性差距的主要障碍在于地理区域间的车辆大小差异,提出了一种简单的校正方法,可用于大多数三维物体检测框架,为跨国家的三维物体检测适应性提供了第一个基准。
May, 2020
本文提出了 SF-UDA^3D 框架,基于伪标注、可逆的尺度转换和运动相干性,将最先进的 PointRCNN 3D 检测器域自适应到无注释目标域中,结果在 KITTI 和 nuScenes 上都优于以前的特征对齐方法和最先进的 3D 目标检测方法。
Oct, 2020
提出了一种半监督领域自适应方法,名为“SSDA3D”,包括两个阶段的Point-CutMix模块和Intra-domain Generalization,很好地解决了不同LiDAR配置、城市和天气等领域间偏移问题,不依赖于大量标注数据,在只有10%目标数据标注的情况下,可以超过100%目标标签的完全监督模型。
Dec, 2022
提出一种密度无关的模型,基于点云数据进行 3D 物体检测。采用了一种随机光束重新采样的方法,对目标领域数据进行训练,实现克服领域差异的目的。实验证明该方法显著提高了检测精度和泛化性能,特别在领域数据不均匀的情况下表现优异。
Apr, 2023
通过系统调查四个在3D目标检测的鲁棒性和领域适应中常常被忽视的设计选择(架构、体素编码、数据增强和锚点策略)以及它们之间的相互作用,我们发现用本地点特征的Transformer主干比3D CNN更加鲁棒,在地理位置适应中关键是在测试时进行的锚点大小调整,源域数据增强允许模型推广到低分辨率传感器,而与预期相反,用干净的天气数据直接训练比用恶劣天气数据训练更能提高对恶劣天气的鲁棒性。我们总结了主要结论和发现,为开发更加鲁棒的3D目标检测方法提供实际指导。
Feb, 2024
通过引入一种名为CMDA的新型无监督领域适应方法,利用图像模态(即相机图像)中的视觉语义线索作为一种有效的语义桥梁来缩小跨模态鸟瞰图表示的领域差距,并采用对抗性自我训练策略,使模型生成具有领域不变性的特征,从而为新的数据分布提供高度信息化和领域自适应的3D目标检测模型。在包括nuScenes、Waymo和KITTI在内的大规模基准测试中,以上所述方法为无监督领域适应任务带来了显著的性能提升,并达到了最先进的性能水平。
Mar, 2024
我们在这项研究中填补现有无监督领域自适应方法的空白,这些方法主要集中于适应已经建立的高密度自动驾驶数据集。我们专注于稀疏的点云,从不同的角度捕捉场景,不仅来自道路上的车辆,还来自人行道上的移动机器人,遇到显著不同的环境条件和传感器配置。我们引入了无监督对抗领域自适应三维物体检测(UADA3D),不依赖于预训练源模型和师生架构,而是使用对抗性方法直接学习域不变特征。我们在各种适应场景中证明了其功效,在自动驾驶汽车和移动机器人领域都取得了显著的改进。我们的代码是开源的,即将推出。
Mar, 2024
自动驾驶中的LiDAR数据集存在诸如点云密度、范围和物体尺寸等属性偏差,因此在不同环境中训练和评估的物体检测网络往往会遇到性能下降的问题。为了解决这个问题,域自适应方法假设可以获取来自测试分布的未标注样本。但是,在实际世界中,部署条件和获得代表测试数据集的样本可能无法获得。我们认为,更现实和具有挑战性的形式是要求对未知目标域具有性能的鲁棒性。我们提出了一种双重方式来解决这个问题。首先,我们利用大多数自动驾驶数据集中存在的配对的LiDAR-图像数据进行多模态物体检测。我们建议通过利用图像和LiDAR点云的多模态特征来进行场景理解任务,从而使得物体检测器对未知域的转换更加鲁棒。其次,我们训练一个3D物体检测器,在不同分布之间学习多模态物体特征,并促进这些源域之间的特征不变性,以提高对未知目标域的泛化性能。为此,我们提出了CLIX$^ ext{3D}$,它是一个用于3D物体检测的多模态融合和有监督对比学习框架,它在对不同数据集转换下实现了最先进的域泛化性能。
Apr, 2024
提出两个指标来综合和合理评估跨领域场景中3D物体检测模型的性能,并为提高现有模型在跨领域情境下的性能提出了EdgeHead细化模块。
Jul, 2024