ICLRMar, 2019

评估神经网络对普遍损坏和扰动的鲁棒性能力

PDF
TL;DR该文章为图像分类器的稳健性建立了严格的基准测试，并提出了两个基准测试 ImageNet-C 和 ImageNet-P，用于评估分类器对常见扰动和干扰的稳健性。研究发现，从 AlexNet 分类器到 ResNet 分类器，相对污染鲁棒性几乎没有变化，而绕过的对抗性防御提供了实质性的常见干扰强度。
image classifierrobustness benchmarkimagenet-cimagenet-pcommon perturbations
发现论文，激发创造
  • 深度神经网络对数字病理学中常见损伤的健壮性基准测试

    本文为评估深度神经网络在受损病理图像上的表现建立了易于使用的基准，发现了多种深度神经网络模型存在显著的精度下降和不可靠的置信度评估，并提出了一种用于将验证集替换为该基准集的新方法。

    Jun, 2022

  • 计算机视觉模型对常见失真的鲁棒性：一项调查研究

    本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述，介绍了不同类型的图像污染以及相关的评估指标和基准数据集，并对现有模型的基础污染鲁棒性进行了评估，以帮助选择适合特定计算机视觉任务的骨干网络。

    May, 2023

  • 通过协变量转移适应性提高对常见数据损坏的稳健性

    本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

    Jun, 2020

  • MNIST-C: 用于计算机视觉鲁棒性基准测试

    我们引入了 MNIST-C 数据集，这是一个综合 15 种损坏应用于 MNIST 测试集的数据集，用于评估计算机视觉中的模型的鲁棒性，我们的相关研究显示，我们的损坏显着降低了现代视觉模型的表现能力，而不影响测试图像的语义内容，和先前的对抗性防御相比，我们的模型无关的损坏不寻求最坏情况下的表现，而是设计成广泛多样的，捕捉现代模型的多个失败模式。

    Jun, 2019

  • 图像识别中神经网络稳健性评估综述

    近年来，对神经网络的稳健性评估引起了极大关注，深度学习的稳健性问题特别突出，研究人员致力于在图像识别任务中评估稳健性，在此综述中，我们对神经网络评估中敌对稳健性和扰动稳健性进行了详细研究，分析当前研究和标准，提供了图像识别中稳健性评估的广泛概述，分析了概念、度量标准和评估方法，研究了用于度量图像扰动程度的扰动度量和范围表示，以及特定于分类模型稳健性条件的稳健度量，还讨论了现有方法的优势和局限性，并提供了一些未来研究的潜在方向。

    Apr, 2024

  • 基于文本引导的鲁棒性基准测试

    本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明： 在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

    Apr, 2023

  • 对抗性鲁棒性和普通扰动鲁棒性是否独立属性？

    本文探讨了神经网络在面对平移、对比度下降等常见扰动时的稳健性与面临恶意输入时的对抗性之间的联系，提供了一个基准测试作为评价神经网络对常见扰动的稳健性，证明了提高神经网络对特定常见扰动的稳健性可以提高它们对未见过的常见扰动的稳健性，同时还说明了对抗对抗性和常见扰动稳健性是相互独立的。

    Sep, 2019

  • MedMNIST-C: 通过模拟真实图像损坏的全面基准和改进的分类器鲁棒性

    我们创建并开源了基于 MedMNIST + 收藏的 12 个数据集和 9 种成像模式的基准数据集 MedMNIST-C，模拟了不同严重程度的任务和模式特定图像损坏以全面评估已建立算法对真实世界工件和分布偏移的鲁棒性，并提供定量证据表明我们简单易用的人工损坏方法可用于提高模型的鲁棒性。与传统的通用增强策略不同，我们的方法利用领域知识，在与广泛采用的方法相比时表现出更高的鲁棒性。通过引入 MedMNIST-C 并开源相应的库以实现有针对性的数据增强，我们为医学成像领域越来越具有挑战的鲁棒方法的发展做出贡献。代码可在此 https URL github.com/francescodisalvo05/medmnistc-api 找到。

    Jun, 2024

  • 使神经网络对多种图像污染具有鲁棒性的简单方法

    该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

    Jan, 2020

  • 图像分类器是否具有时间上的泛化能力？

    本文研究图像分类器对视频时序扰动的鲁棒性。我们构建了两个数据集，ImageNet-Vid-Robust 和 YTBB-Robust，包含 57,897 张图像，分为 3,139 组感知相似图像，并对其进行了重新注释以进行相似性分析。我们评估了各种经过 ImageNet 预训练的分类器，结果显示在两个数据集上的中位分类准确性分别下降了 16 和 10。此外，我们还评估了三个检测模型，并显示自然扰动会引起分类和定位误差，导致检测 mAP 中位数下降 14 个点。我们的分析表明，视频中自然发生的扰动对于在需要可靠和低延迟预测的环境中部署卷积神经网络是一个实际而重大的挑战。

    Jun, 2019