RobustCLEVR:用于评估物体中心化学习的鲁棒性的基准和框架
本文介绍了物体中心表示学习的概念,并在五个常见的多目标数据集上对最先进的无监督模型进行了训练和评估,研究了分割度量和下游对象属性预测等问题,并探讨了单个对象超出分布,全局属性的改变以及更少结构化的分布转变对其性能的影响。实验结果表明,物体中心表示对下游任务很有用,而且对于大多数影响对象的分布转变通常很坚韧。但是,当输入的分布变化不规则时,在分割和下游任务性能方面的韧性可能会因模型和分布转变而异。
Jul, 2021
通过引入组合性和不可约性假设,分析了何时可以在无监督情况下学习对象为中心的表示,并通过在合成数据上的实验验证了结果。还提供了证据表明该理论具有现有对象为中心模型的预测能力。
May, 2023
家用机器人上安装的视觉系统需要与不可见的类别在多变的环境中进行交互。我们提出了 RobOCLe 作为一种少样本在线持续学习模型,通过构建富化特征空间和计算样本的高阶统计矩来改善连续学习模型的鲁棒性。
Jul, 2023
本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述,介绍了不同类型的图像污染以及相关的评估指标和基准数据集,并对现有模型的基础污染鲁棒性进行了评估,以帮助选择适合特定计算机视觉任务的骨干网络。
May, 2023
在本文中,我们针对受云层影响的航拍图像,提出了两个基于 DOTA-v1.0 的新型基准测试。通过对主流目标检测模型的系统评估和大量剖析实验,我们发现增强模型架构、更大的网络、精心设计的模块以及谨慎的数据增强策略可以共同提高航拍目标检测模型的稳健性。我们提出的基准测试和全面的实验分析有助于促进航拍图像中稳健目标检测的研究。
Aug, 2023
本文引入 OOD-CV 数据集,并发现某些干扰因素有更强烈的负面影响;当前的提高鲁棒性的方法只有微弱的效果,甚至可能削弱鲁棒性;我们的数据集提供了一个丰富的测试床,以研究鲁棒性,并有助于推进这一领域的研究。
Nov, 2021
我们提出了一种视觉连续的损坏稳健性(VCR)方法,允许在范围广泛且连续的变化中评估神经网络对图像损坏的稳健性,并使用两种新颖的人类感知度量标准进行评估。通过在 14 种常用图像损坏上进行实验,并与大量的人类参与者和最新的稳健神经网络模型进行比较,我们的研究发现:1)连续损坏的稳健性评估可以揭示现有基准测试无法检测到的不足;因此,2)神经网络和人类的稳健性差距大于以往所知;最后,3)某些图像损坏对人类感知有相似的影响,为更具成本效益的稳健性评估提供了机会。
Feb, 2024
我们引入了 MNIST-C 数据集,这是一个综合 15 种损坏应用于 MNIST 测试集的数据集,用于评估计算机视觉中的模型的鲁棒性,我们的相关研究显示,我们的损坏显着降低了现代视觉模型的表现能力,而不影响测试图像的语义内容,和先前的对抗性防御相比,我们的模型无关的损坏不寻求最坏情况下的表现,而是设计成广泛多样的,捕捉现代模型的多个失败模式。
Jun, 2019
本研究旨在设计公共数据集,并建立三种耐受性基准 (KITTI-C、nuScenes-C 和 Waymo-C) 来检验 27 种常见情况下的真实世界杂质对三维物体检测模型的鲁棒性,结果发现基于雷达与相机融合的模型具有更好的鲁棒性。
Mar, 2023
本文研究了利用自监督学习获取对象集中表示的关键方面,并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明,竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练,我们证明了在潜在空间中应用具有匹配性的对比损失,避免了基于像素的重建。但是,该优化目标对假阴性(重复对象)和假阳性(匹配错误)非常敏感。因此,需要仔细考虑数据增强和负样本选择。
Mar, 2022