计算机视觉模型对常见失真的鲁棒性:一项调查研究
该文章为图像分类器的稳健性建立了严格的基准测试,并提出了两个基准测试 ImageNet-C 和 ImageNet-P,用于评估分类器对常见扰动和干扰的稳健性。研究发现,从 AlexNet 分类器到 ResNet 分类器,相对污染鲁棒性几乎没有变化,而绕过的对抗性防御提供了实质性的常见干扰强度。
Mar, 2019
通过研究环境和硬件条件引起的数据损坏对基于视觉的深度学习飞机检测和跟踪的影响,本文设计了七种常见的损坏类型,并构建了名为 AOT-C 的第一个用于飞行物体探测的健壮性基准数据集。基于实验评估结果,研究发现:YOLO 家族的一阶段检测器表现出更好的健壮性,而基于 Transformer 和多阶段的检测器(如 Faster R-CNN)对损坏非常敏感。此外,通过在合成数据上进行微调,可以改善目标检测器在真实飞行实验中的泛化能力。
May, 2024
本文为评估深度神经网络在受损病理图像上的表现建立了易于使用的基准,发现了多种深度神经网络模型存在显著的精度下降和不可靠的置信度评估,并提出了一种用于将验证集替换为该基准集的新方法。
Jun, 2022
本文提出了一组图像转换,用作对模型鲁棒性的评估,以及训练神经网络的数据增强机制。这些转换具有现实世界中更可能出现的损坏方式和语义,可以有效提高模型的鲁棒性,并为鲁棒性研究开辟了有前途的方向。
Mar, 2022
本研究证明:大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性,因此提出了一种基于非监督在线适应的方法,通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。
Jun, 2020
我们引入了 MNIST-C 数据集,这是一个综合 15 种损坏应用于 MNIST 测试集的数据集,用于评估计算机视觉中的模型的鲁棒性,我们的相关研究显示,我们的损坏显着降低了现代视觉模型的表现能力,而不影响测试图像的语义内容,和先前的对抗性防御相比,我们的模型无关的损坏不寻求最坏情况下的表现,而是设计成广泛多样的,捕捉现代模型的多个失败模式。
Jun, 2019
本研究探讨了图像分类器对以文字为导向的失真的鲁棒性,并利用扩散模型对图像进行不同域的编辑,研究结果表明: 在不同语言为基础的失真和编辑域中,图像分类器的性能显著下降,卷积模型比变压器架构更为鲁棒,同时,常见的数据扩充技术可以提高原始数据和编辑图像的性能。
Apr, 2023
在本文中,我们针对受云层影响的航拍图像,提出了两个基于 DOTA-v1.0 的新型基准测试。通过对主流目标检测模型的系统评估和大量剖析实验,我们发现增强模型架构、更大的网络、精心设计的模块以及谨慎的数据增强策略可以共同提高航拍目标检测模型的稳健性。我们提出的基准测试和全面的实验分析有助于促进航拍图像中稳健目标检测的研究。
Aug, 2023
该研究论文证明,通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练,可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性,并结合敌对训练方法进一步提高性能。
Jan, 2020
我们提出了一种视觉连续的损坏稳健性(VCR)方法,允许在范围广泛且连续的变化中评估神经网络对图像损坏的稳健性,并使用两种新颖的人类感知度量标准进行评估。通过在 14 种常用图像损坏上进行实验,并与大量的人类参与者和最新的稳健神经网络模型进行比较,我们的研究发现:1)连续损坏的稳健性评估可以揭示现有基准测试无法检测到的不足;因此,2)神经网络和人类的稳健性差距大于以往所知;最后,3)某些图像损坏对人类感知有相似的影响,为更具成本效益的稳健性评估提供了机会。
Feb, 2024