基于文本引导的鲁棒性基准测试
本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述,介绍了不同类型的图像污染以及相关的评估指标和基准数据集,并对现有模型的基础污染鲁棒性进行了评估,以帮助选择适合特定计算机视觉任务的骨干网络。
May, 2023
本文为评估深度神经网络在受损病理图像上的表现建立了易于使用的基准,发现了多种深度神经网络模型存在显著的精度下降和不可靠的置信度评估,并提出了一种用于将验证集替换为该基准集的新方法。
Jun, 2022
该文章为图像分类器的稳健性建立了严格的基准测试,并提出了两个基准测试 ImageNet-C 和 ImageNet-P,用于评估分类器对常见扰动和干扰的稳健性。研究发现,从 AlexNet 分类器到 ResNet 分类器,相对污染鲁棒性几乎没有变化,而绕过的对抗性防御提供了实质性的常见干扰强度。
Mar, 2019
我们建立了视觉感知稳健性的严格基准,通过合成图像进行评估,引入了生成模型作为数据源来合成具有多样化背景、纹理和材料的困难图像,该基准称为 ImageNet-D,实验结果表明 ImageNet-D 对于多种视觉模型都导致了显著的准确率下降。
Mar, 2024
对 11 种广泛使用的适应方法在 4 个视觉语言数据集中的鲁棒性进行了评估,发现适应方法对于文本污染比视觉污染更敏感,完整的微调并不能始终提供最高的鲁棒性,而适配器可以在可比较的干净表现下实现更好的鲁棒性,增加适应数据和参数的数量并不能保证增强鲁棒性,相反,会导致鲁棒性降低。
Jun, 2023
本研究证明:大多数图像较差的基准测试不能很好地衡量图像识别模型在许多场景下的稳健性,因此提出了一种基于非监督在线适应的方法,通过更改模型激活的统计特征来提高模型的稳健性。改进后的模型可在 ImageNet-C 数据集上取得更好的表现。
Jun, 2020
为了解决文本到图像扩散模型对抗攻击的问题,本研究提出了 MetaCloak 方法,利用元学习框架和附加的转换采样过程来解决双层毒化问题,从而产生可转移和鲁棒的扰动。通过对 VGGFace2 和 CelebA-HQ 数据集的大量实验证明,MetaCloak 优于现有方法,能够在黑盒方式下成功欺骗 Replicate 等在线训练服务,展示了 MetaCloak 在实际场景中的有效性。
Nov, 2023
我们提出了一种测试时间图像适应方法,通过同时更新和预测测试图像来提高模型在测试数据上的准确性,通过扩散模型将目标测试图像反投影到源域,设计结构指导模块通过低通滤波添加细化操作,用于正则化扩散以保留结构信息,并引入自整合方案自动调整对适应和未适应输入的依赖关系,增强适应鲁棒性。在我们构建的 ISIC2019-C 和 Dermnet-C 损坏鲁棒性评估基准上进行的大量实验表明,我们的方法在各种损坏、体系结构和数据区域上使分类器更加鲁棒。我们的数据集和代码将在 https://github.com/minghu0830/Skin-TTA_Diffusion 上提供。
May, 2024
通过图文组合检索,通过由图像加上一些描述所构成的查询准确检索目标图像,在真实世界的损坏和进一步的文本理解下进行了坚固性研究,建立了三个用于系统分析的新的多样化基准,对视觉和文本的图文组合检索进行评估,包括自然失真的分析和文本理解的论证。
Nov, 2023