我们创建并开源了基于 MedMNIST + 收藏的 12 个数据集和 9 种成像模式的基准数据集 MedMNIST-C，模拟了不同严重程度的任务和模式特定图像损坏以全面评估已建立算法对真实世界工件和分布偏移的鲁棒性，并提供定量证据表明我们简单易用的人工损坏方法可用于提高模型的鲁棒性。与传统的通用增强策略不同，我们的方法利用领域知识，在与广泛采用的方法相比时表现出更高的鲁棒性。通过引入 MedMNIST-C 并开源相应的库以实现有针对性的数据增强，我们为医学成像领域越来越具有挑战的鲁棒方法的发展做出贡献。代码可在此 https URL github.com/francescodisalvo05/medmnistc-api 找到。

Jun, 2024

本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述，介绍了不同类型的图像污染以及相关的评估指标和基准数据集，并对现有模型的基础污染鲁棒性进行了评估，以帮助选择适合特定计算机视觉任务的骨干网络。

May, 2023

该文章为图像分类器的稳健性建立了严格的基准测试，并提出了两个基准测试 ImageNet-C 和 ImageNet-P，用于评估分类器对常见扰动和干扰的稳健性。研究发现，从 AlexNet 分类器到 ResNet 分类器，相对污染鲁棒性几乎没有变化，而绕过的对抗性防御提供了实质性的常见干扰强度。

Mar, 2019

本研究证明：大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性，因此提出了一种基于非监督在线适应的方法，通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。

Jun, 2020

本文提出了深度神经网络在 3D 点云数据上应用于安全关键领域，但对其鲁棒性的研究较少。作者提出了新的用于测试冲突鲁棒性的基准数据集，并给出了一种简单而有效的方法来降低现有模型在此数据集上的表现差距。作者通过实验发现了一些有关点云识别中鲁棒性的关键见解，例如在适当的训练下，基于 Transformer 的结构具有最强的鲁棒性。

Jan, 2022

我们提出了一种视觉连续的损坏稳健性（VCR）方法，允许在范围广泛且连续的变化中评估神经网络对图像损坏的稳健性，并使用两种新颖的人类感知度量标准进行评估。通过在 14 种常用图像损坏上进行实验，并与大量的人类参与者和最新的稳健神经网络模型进行比较，我们的研究发现：1）连续损坏的稳健性评估可以揭示现有基准测试无法检测到的不足；因此，2）神经网络和人类的稳健性差距大于以往所知；最后，3）某些图像损坏对人类感知有相似的影响，为更具成本效益的稳健性评估提供了机会。

Feb, 2024

本文为评估深度神经网络在受损病理图像上的表现建立了易于使用的基准，发现了多种深度神经网络模型存在显著的精度下降和不可靠的置信度评估，并提出了一种用于将验证集替换为该基准集的新方法。

Jun, 2022

本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明： 在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

Apr, 2023

该论文提供了一个易于使用的基准来评估深度学习模型在图像质量下降的情况下完成目标检测的能力，并通过数据增强方法，即对训练图像进行艺术风格化处理，有效提高了模型鲁棒性。

Jul, 2019

本文引入 OOD-CV 数据集，并发现某些干扰因素有更强烈的负面影响；当前的提高鲁棒性的方法只有微弱的效果，甚至可能削弱鲁棒性；我们的数据集提供了一个丰富的测试床，以研究鲁棒性，并有助于推进这一领域的研究。

Nov, 2021