Oct, 2023

XIMAGENET-12：一个可解释的 AI 基准数据集用于模型鲁棒性评估

PDF
TL;DR为了解决标准化鲁棒性评估指标缺乏和过多无关基准数据集的问题，我们引入了 XIMAGENET-12，一个可解释的基准数据集，包含 20 万多张图像和 15,600 个手动语义注释。同时，我们提出了一个新的鲁棒性评估标准，超越了模型生成能力的评估。研究人员和从业者可以利用这个资源，在具有挑战性的条件下评估他们的视觉模型的鲁棒性，并从实际的计算机视觉系统需求中受益。
robustness metricsbenchmark datasetmanual semantic annotationsrobustness criterionvisual models
发现论文，激发创造
  • 通过生成数据集实现强健分类：让现实留给想象

    本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

    Feb, 2023

  • 对扩散合成目标的神经网络稳健性进行基准测试

    我们建立了视觉感知稳健性的严格基准，通过合成图像进行评估，引入了生成模型作为数据源来合成具有多样化背景、纹理和材料的困难图像，该基准称为 ImageNet-D，实验结果表明 ImageNet-D 对于多种视觉模型都导致了显著的准确率下降。

    Mar, 2024

  • MedMNIST-C: 通过模拟真实图像损坏的全面基准和改进的分类器鲁棒性

    我们创建并开源了基于 MedMNIST + 收藏的 12 个数据集和 9 种成像模式的基准数据集 MedMNIST-C，模拟了不同严重程度的任务和模式特定图像损坏以全面评估已建立算法对真实世界工件和分布偏移的鲁棒性，并提供定量证据表明我们简单易用的人工损坏方法可用于提高模型的鲁棒性。与传统的通用增强策略不同，我们的方法利用领域知识，在与广泛采用的方法相比时表现出更高的鲁棒性。通过引入 MedMNIST-C 并开源相应的库以实现有针对性的数据增强，我们为医学成像领域越来越具有挑战的鲁棒方法的发展做出贡献。代码可在此 https URL github.com/francescodisalvo05/medmnistc-api 找到。

    Jun, 2024

  • ImageNet-X: 使用变化因素注释理解模型错误

    使用 ImageNet-X 图像数据集，研究了模型的架构、学习模式和训练程序对模型在不同姿态、背景和光照下识别失败的影响。研究结果表明数据增强技术可以提高模型对某些因素的鲁棒性，但也会对其他因素产生溢出效应。未来应该集中精力收集更多数据和了解数据增强方案，以提高现代视觉模型的鲁棒性。

    Nov, 2022

  • MNIST-C: 用于计算机视觉鲁棒性基准测试

    我们引入了 MNIST-C 数据集，这是一个综合 15 种损坏应用于 MNIST 测试集的数据集，用于评估计算机视觉中的模型的鲁棒性，我们的相关研究显示，我们的损坏显着降低了现代视觉模型的表现能力，而不影响测试图像的语义内容，和先前的对抗性防御相比，我们的模型无关的损坏不寻求最坏情况下的表现，而是设计成广泛多样的，捕捉现代模型的多个失败模式。

    Jun, 2019

  • 一个标准的对抗鲁棒性基准测试 RobustBench

    为了建立标准化的对抗性鲁棒性基准，我们考虑了图片分类任务，并引入了允许的模型限制，使用 AutoAttack 进行评估，同时提供 80 多种鲁棒模型的开源库，分析了鲁棒性对分布偏移、平滑性等性能的影响。

    Oct, 2020

  • OOD-CV-v2：自然图像中个体模糊的各类变化鲁棒性的扩展基准

    我们引入了 OOD-CV-v2 数据集，其中包括了 10 个物体类别的姿态、形状、纹理、上下文和天气条件之外的分布数据，以提高图像分类、物体检测和 3D 姿态估计模型的鲁棒性性能。经过大量的实验，我们发现当前的提高鲁棒性方法只有微小的作用，并且可能会降低鲁棒性；同时，在卷积和 transformer 架构之间没有明显的差异。

    Apr, 2023

  • ArtBench 数据集：以艺术品为样本评估生成模型

    ArtBench-10 是第一个用于艺术品生成基准测试的平衡、高质量、干净注释和标准化数据集，其中包含了 60000 个艺术品图像，可用于流行的机器学习框架。

    Jun, 2022

  • 对语义分割模型鲁棒性的基准测试

    本研究的目的是针对 DeepLabv3+ 模型在语义分割应用中的鲁棒性进行全面调查，研究结果显示性能与鲁棒性有很大关系，而有些架构属性则对鲁棒性产生了显著影响。

    Aug, 2019

  • 评估神经网络对普遍损坏和扰动的鲁棒性能力

    该文章为图像分类器的稳健性建立了严格的基准测试，并提出了两个基准测试 ImageNet-C 和 ImageNet-P，用于评估分类器对常见扰动和干扰的稳健性。研究发现，从 AlexNet 分类器到 ResNet 分类器，相对污染鲁棒性几乎没有变化，而绕过的对抗性防御提供了实质性的常见干扰强度。

    Mar, 2019