检测可见的更接近的表面:跨域3D物体检测的新建模和评估
本文综述了自2015年至2021年期间针对基于图像的三维物体检测问题的200多个研究,并提出了两个新的分类体系来组织现有的最先进的方法,并深入分析了它们的各个组成部分。同时,本文探讨了这个领域的挑战和未来方向。
Feb, 2022
提出了一种半监督领域自适应方法,名为“SSDA3D”,包括两个阶段的Point-CutMix模块和Intra-domain Generalization,很好地解决了不同LiDAR配置、城市和天气等领域间偏移问题,不依赖于大量标注数据,在只有10%目标数据标注的情况下,可以超过100%目标标签的完全监督模型。
Dec, 2022
提出了一种基于Bi-domain active learning的方法Bi3D,通过source和target两个域的样本选择策略来解决跨域3D目标检测任务,实验结果表明该方法在不同的跨域情况下达到了较好的检测准确率。
Mar, 2023
提出一种密度无关的模型,基于点云数据进行 3D 物体检测。采用了一种随机光束重新采样的方法,对目标领域数据进行训练,实现克服领域差异的目的。实验证明该方法显著提高了检测精度和泛化性能,特别在领域数据不均匀的情况下表现优异。
Apr, 2023
通过 DI-V2X 提出了一种新的蒸馏框架,通过域混合实例增强、渐进式域不变蒸馏和域自适应融合模块来减轻 V2X 3D 物体检测中的域差异,实现了卓越的性能。
Dec, 2023
我们在这项研究中填补现有无监督领域自适应方法的空白,这些方法主要集中于适应已经建立的高密度自动驾驶数据集。我们专注于稀疏的点云,从不同的角度捕捉场景,不仅来自道路上的车辆,还来自人行道上的移动机器人,遇到显著不同的环境条件和传感器配置。我们引入了无监督对抗领域自适应三维物体检测(UADA3D),不依赖于预训练源模型和师生架构,而是使用对抗性方法直接学习域不变特征。我们在各种适应场景中证明了其功效,在自动驾驶汽车和移动机器人领域都取得了显著的改进。我们的代码是开源的,即将推出。
Mar, 2024
自动驾驶中的LiDAR数据集存在诸如点云密度、范围和物体尺寸等属性偏差,因此在不同环境中训练和评估的物体检测网络往往会遇到性能下降的问题。为了解决这个问题,域自适应方法假设可以获取来自测试分布的未标注样本。但是,在实际世界中,部署条件和获得代表测试数据集的样本可能无法获得。我们认为,更现实和具有挑战性的形式是要求对未知目标域具有性能的鲁棒性。我们提出了一种双重方式来解决这个问题。首先,我们利用大多数自动驾驶数据集中存在的配对的LiDAR-图像数据进行多模态物体检测。我们建议通过利用图像和LiDAR点云的多模态特征来进行场景理解任务,从而使得物体检测器对未知域的转换更加鲁棒。其次,我们训练一个3D物体检测器,在不同分布之间学习多模态物体特征,并促进这些源域之间的特征不变性,以提高对未知目标域的泛化性能。为此,我们提出了CLIX$^ ext{3D}$,它是一个用于3D物体检测的多模态融合和有监督对比学习框架,它在对不同数据集转换下实现了最先进的域泛化性能。
Apr, 2024
通过引入一种新颖的基于扩散的边界精化方法,利用激光雷达点环绕粗糙边界框的无域扩散模型来同时精化边界框的位置、尺寸和方向,克服了现有模型在应用于具有不同传感器设置或地理位置的领域时面临的性能不稳定问题,从而在不同数据集、目标类别和检测器上实现了显著的改进。
May, 2024
本研究解决了现有深度学习模型在自主驾驶中3D目标检测的跨域泛化能力不足的问题。我们提出了新的评估指标,揭示了模型在前视表面和宽度维度上的过拟合现象,指出点云数据的密度显著影响模型的跨域表现。研究为提高模型的泛化能力提供了重要洞见。
Aug, 2024