多重破损:一个用于三维物体检测的 LiDAR - 相机融合的多模式鲁棒性数据集和基准
本研究旨在设计公共数据集,并建立三种耐受性基准 (KITTI-C、nuScenes-C 和 Waymo-C) 来检验 27 种常见情况下的真实世界杂质对三维物体检测模型的鲁棒性,结果发现基于雷达与相机融合的模型具有更好的鲁棒性。
Mar, 2023
本研究提出了一种新的融合步骤来解决数据损坏问题,从而使得 3D 物体检测的多模态传感器融合更加稳健。经过大量实验证明,我们的方法在正常数据上与最先进的方法相当,并在不对齐数据上表现出更好的效果。
Jun, 2023
本文提出了深度神经网络在 3D 点云数据上应用于安全关键领域,但对其鲁棒性的研究较少。作者提出了新的用于测试冲突鲁棒性的基准数据集,并给出了一种简单而有效的方法来降低现有模型在此数据集上的表现差距。作者通过实验发现了一些有关点云识别中鲁棒性的关键见解,例如在适当的训练下,基于 Transformer 的结构具有最强的鲁棒性。
Jan, 2022
本文旨在全面分析 LiDAR 语义分割模型在各种损坏情况下的鲁棒性,并通过提出的新基准 SemanticKITTI-C 系统地研究了 11 种不同的 LiDAR 语义分割模型。根据对实验的观察和分析,我们发现输入的表示对模型的鲁棒性起着至关重要的作用,并提出了一种改进的模型 RLSeg,通过简单而有效的修改方法,极大地提高了模型的鲁棒性。
Jan, 2023
填补大型多模型(LMMs)评估中的不足,通过研究其输出在常见破坏情况下的自一致性,调查文本、图像和语音之间的跨模态交互,创建了一个综合性基准 MMCbench,评估了 100 多个受欢迎的 LMMs(共 150 个模型检查点),此全面评估对于实际部署至关重要,并有助于更好地了解顶尖 LMMs 的可靠性。
Jan, 2024
本研究针对自动驾驶的核心传感器进行研究,发现同时融合相机和 LiDAR 两种模式可以显著提升其性能。然而,由于当前数据集来自于昂贵的数据收集车辆,无法完全反映真实数据分布。 因此,我们提出了一种系统性的鲁棒性基准测试工具包,并在 nuScenes 和 Waymo 中建立了鲁棒性基准测试,针对当前的融合方法进行综合性分析。最后,我们提出了一种高效的鲁棒性训练策略。
May, 2022
通过研究环境和硬件条件引起的数据损坏对基于视觉的深度学习飞机检测和跟踪的影响,本文设计了七种常见的损坏类型,并构建了名为 AOT-C 的第一个用于飞行物体探测的健壮性基准数据集。基于实验评估结果,研究发现:YOLO 家族的一阶段检测器表现出更好的健壮性,而基于 Transformer 和多阶段的检测器(如 Faster R-CNN)对损坏非常敏感。此外,通过在合成数据上进行微调,可以改善目标检测器在真实飞行实验中的泛化能力。
May, 2024
评估从融合策略角度出发的融合模型的鲁棒性,并提出一种简洁而实用的融合策略来增强融合模型的鲁棒性,即将来自 LiDAR 和相机源的特征进行灵活权重融合以适应不同的天气情况。
Feb, 2024
该论文提供了一个易于使用的基准来评估深度学习模型在图像质量下降的情况下完成目标检测的能力,并通过数据增强方法,即对训练图像进行艺术风格化处理,有效提高了模型鲁棒性。
Jul, 2019
本文提出了一组图像转换,用作对模型鲁棒性的评估,以及训练神经网络的数据增强机制。这些转换具有现实世界中更可能出现的损坏方式和语义,可以有效提高模型的鲁棒性,并为鲁棒性研究开辟了有前途的方向。
Mar, 2022