基于频率的深度学习模型对图像破坏的漏洞分析

Jun, 2023

基于频率的深度学习模型对图像破坏的漏洞分析

Frequency-Based Vulnerability Analysis of Deep Learning Models against Image Corruptions

Harshitha Machiraju, Michael H. Herzog, Pascal Frossard

TL;DR该研究提出了 MUFIA 算法，该算法能够鉴别导致深度学习模型失效的特定图像污染类型，并揭示现有模型对这些污染的鲁棒性不足的弱点，从而强调了提高模型抗干扰性的必要性。

Abstract

deep learning models often face challenges when handling real-world image corruptions. In response, researchers have developed image corruption datasets to evaluate the performance of deep neural networks in hand

deep learning image corruption datasets mufia model misclassification model robustness

发现论文，激发创造

使用频率偏置模型提高对通用损坏的鲁棒性

本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法，成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务，同时提升了在受损图像方面的鲁棒性。

Mar, 2021

计算机视觉模型对常见失真的鲁棒性：一项调查研究

本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述，介绍了不同类型的图像污染以及相关的评估指标和基准数据集，并对现有模型的基础污染鲁棒性进行了评估，以帮助选择适合特定计算机视觉任务的骨干网络。

May, 2023

频率偏差如何影响神经图像分类器对于常见干扰及对抗扰动的鲁棒性？

本研究提出通过 Jacobian 频率正则化方法对深度学习模型频率偏差与鲁棒性之间的直接关系进行研究，实验证明偏向低（高）频分量能够提高分类器对高（低）频污染和对抗扰动的鲁棒性，但在低（高）频污染的性能方面存在折衷。

May, 2022

深度神经网络对数字病理学中常见损伤的健壮性基准测试

本文为评估深度神经网络在受损病理图像上的表现建立了易于使用的基准，发现了多种深度神经网络模型存在显著的精度下降和不可靠的置信度评估，并提出了一种用于将验证集替换为该基准集的新方法。

Jun, 2022

通过协变量转移适应性提高对常见数据损坏的稳健性

本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

Jun, 2020

计算机视觉中模型鲁棒性的傅里叶视角

计算机视觉中，通过数据增强方式可以提高鲁棒性，但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高，因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。

Jun, 2019

基于文本引导的鲁棒性基准测试

本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明：在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

Apr, 2023

利用乘法权重扰动提高对损毁的强敏感性

深度神经网络在干净图像上表现出色，但在损坏图像上表现不佳。本文提出了一种改善深度神经网络对各种损坏的鲁棒性且不损害干净图像准确性的一种方法，该方法通过引入输入扰动，模拟在权重空间中的乘法扰动，并通过数据增强训练深度神经网络。实验证明该方法能显著提高模型的泛化性能，并在不同环境中证明了其有效性。

Jun, 2024

使神经网络对多种图像污染具有鲁棒性的简单方法

该研究论文证明，通过对图像识别模型进行简单但适当的高斯噪声和斑点噪声训练，可以使其具有更好的泛化能力和对不同类型损坏更强的鲁棒性，并结合敌对训练方法进一步提高性能。

Jan, 2020

学习在噪声干扰下的一般性框架：标签干扰、属性干扰及其它

本文通过马尔科夫核心框架对数据集水平下的数据污染模式进行了形式化分析，展示了标签和属性上存在复杂数据污染的影响，同时通过分析 Bayes 风险的变化，论述了这些污染对于标准监督学习的影响，为今后的定量比较提供了基础。

Jul, 2023