本文研究图像分类器对视频时序扰动的鲁棒性。我们构建了两个数据集,ImageNet-Vid-Robust 和 YTBB-Robust,包含 57,897 张图像,分为 3,139 组感知相似图像,并对其进行了重新注释以进行相似性分析。我们评估了各种经过 ImageNet 预训练的分类器,结果显示在两个数据集上的中位分类准确性分别下降了 16 和 10。此外,我们还评估了三个检测模型,并显示自然扰动会引起分类和定位误差,导致检测 mAP 中位数下降 14 个点。我们的分析表明,视频中自然发生的扰动对于在需要可靠和低延迟预测的环境中部署卷积神经网络是一个实际而重大的挑战。
Jun, 2019
本论文简要概述了提高计算机视觉模型稳健性的最新技术,以及用于评估模型性能的常用鲁棒性基准数据集,并审视了所审查方法的优点和局限性,鉴别了深度学习稳健性改进的一般趋势。
May, 2023
文章提出了从基于扰动的对抗鲁棒性转向基于模型的鲁棒深度学习的新范式,并探讨了使用深度生成模型来学习自然变化模型并进一步提高深度学习对于自然变化的鲁棒性的三种新型算法,实验表明,该方法在自然情况下能够超越标准深度学习算法和基于范数的鲁棒深度学习算法。
May, 2020
本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现,发现大多数当前技术无法提供对真实数据中分布变化的健壮性,唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性,并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。
Jul, 2020
本文对现有的视频动作识别模型进行大规模的复杂性分析,提供了不同的基准数据集,并研究了现有模型对 90 种不同扰动的鲁棒性,结果表明,基于 Transformer 的模型相对于基于 CNN 的模型更具鲁棒性。
Jul, 2022
该论文探讨了神经网络架构在解决视觉任务时存在的局限性,与人类学习抽象概念的策略不同。研究利用一组新的图像转换方法,对人类和网络在对象识别任务上进行了评估,发现常见网络的性能迅速下降,而人类能够以高精度识别对象。
May, 2022
本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述,介绍了不同类型的图像污染以及相关的评估指标和基准数据集,并对现有模型的基础污染鲁棒性进行了评估,以帮助选择适合特定计算机视觉任务的骨干网络。
研究神经网络分类器对旋转和平移的脆弱性,探索使用鲁棒优化和测试时间输入聚合的思想来提高鲁棒性,并发现一阶方法无法可靠地找到最坏情况的扰动。
Dec, 2017
本文探讨了针对文档和自然数据的对抗攻击方法,并通过对 ResNet50 和 EfficientNetB0 模型架构的对抗训练、JPEG input 压缩和灰度输入变换等方法的研究, 对文件图像分类任务中这些攻击的影响进行了评估。
Apr, 2023
本研究通过使用多个强健度和成功率等措施,在 306 个模型对之间全面测试了 18 个 ImageNet 模型,并揭示了若干新的见解:(1)在分类错误的对数下,经验 L2 和 L∞扭曲度量呈线性比例律;(2)模型架构比模型尺寸更重要;(3)对于相似的网络架构,略微增加网络深度可在 L∞扭曲度上提高强健性;(4)存在具有高度敌对可转性的模型,而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。
Aug, 2018