Jun, 2019

图像分类器是否具有时间上的泛化能力？

PDF
TL;DR本文研究图像分类器对视频时序扰动的鲁棒性。我们构建了两个数据集，ImageNet-Vid-Robust 和 YTBB-Robust，包含 57,897 张图像，分为 3,139 组感知相似图像，并对其进行了重新注释以进行相似性分析。我们评估了各种经过 ImageNet 预训练的分类器，结果显示在两个数据集上的中位分类准确性分别下降了 16 和 10。此外，我们还评估了三个检测模型，并显示自然扰动会引起分类和定位误差，导致检测 mAP 中位数下降 14 个点。我们的分析表明，视频中自然发生的扰动对于在需要可靠和低延迟预测的环境中部署卷积神经网络是一个实际而重大的挑战。
发现论文，激发创造
  • 对实时视频分类系统的对抗性扰动

    本研究探讨了实时视频分类系统中对抗性干扰的可能性与必要条件，发现在考虑时序结构的情况下，利用生成对抗网络可以产生能够导致高达 80% 有针对性活动误分类的对抗样本，对其他活动几乎没有影响，并且同一扰动可以适用于视频剪辑中的每一帧。

    Jul, 2018

  • 评估神经网络对普遍损坏和扰动的鲁棒性能力

    该文章为图像分类器的稳健性建立了严格的基准测试，并提出了两个基准测试 ImageNet-C 和 ImageNet-P，用于评估分类器对常见扰动和干扰的稳健性。研究发现，从 AlexNet 分类器到 ResNet 分类器，相对污染鲁棒性几乎没有变化，而绕过的对抗性防御提供了实质性的常见干扰强度。

    Mar, 2019

  • 视频行为识别模型的大规模稳健性分析

    本文对现有的视频动作识别模型进行大规模的复杂性分析，提供了不同的基准数据集，并研究了现有模型对 90 种不同扰动的鲁棒性，结果表明，基于 Transformer 的模型相对于基于 CNN 的模型更具鲁棒性。

    Jul, 2022

  • 图像分类模型自然分布偏移鲁棒性测量

    本研究评估了 204 个 ImageNet 模型在 213 个不同的测试条件下的表现，发现大多数当前技术无法提供对真实数据中分布变化的健壮性，唯一例外的是在较大且更多样化的数据集上进行训练可以在多种情况下提高健壮性，并且我们的研究表明当前真实数据中的分布变化是一个开放的问题。

    Jul, 2020

  • 图像分类器的鲁棒性和不变性属性

    本文研究了深度神经网络在噪声环境中的鲁棒性和不变性，提出了快速计算稀疏对抗扰动和数据增强方法，与数据之间的特征联系起来，以实现更可靠的机器学习系统。

    Aug, 2022

  • 利用视频评估图像模型的鲁棒性

    研究人员探讨了模型稳健性不同方面，比较了模型对于自然变换和人工扭曲变换的鲁棒性。进一步，他们发现更精确的模型对于自然变换更具鲁棒性，但没有找到一个单一的训练技巧可以在 12 种不同结构中统一提高自然鲁棒性。

    Apr, 2019

  • 通过生成数据集实现强健分类：让现实留给想象

    本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

    Feb, 2023

  • 思考真实世界物体分类

    对深层模型在 ObjectNet 数据集上的表现及其在各种数据变化下的鲁棒性进行了研究，并发现将深层模型应用于对象而不是整个场景会显著改善性能，并且将对象区域限制在较小的范围内可提高准确性和鲁棒性。

    Mar, 2021

  • 鲁棒性是准确性的代价吗？—— 对 18 个深度图像分类模型鲁棒性的全面研究

    本研究通过使用多个强健度和成功率等措施，在 306 个模型对之间全面测试了 18 个 ImageNet 模型，并揭示了若干新的见解：（1）在分类错误的对数下，经验 L2 和 L∞扭曲度量呈线性比例律；（2）模型架构比模型尺寸更重要；（3）对于相似的网络架构，略微增加网络深度可在 L∞扭曲度上提高强健性；（4）存在具有高度敌对可转性的模型，而从一个模型制造的大多数敌对示例仅可以在同一家族内转移。

    Aug, 2018

  • 野外细粒度图像分类

    本文从层次知识入手，进行细粒度分类实验，验证模型在此类型下的稳健性，并通过其他方法解释和评估模型的错误分类行为。

    Mar, 2023