对扩散合成目标的神经网络稳健性进行基准测试

CVPRMar, 2024

对扩散合成目标的神经网络稳健性进行基准测试

ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object

Chenshuang Zhang, Fei Pan, Junmo Kim, In So Kweon, Chengzhi Mao

TL;DR我们建立了视觉感知稳健性的严格基准，通过合成图像进行评估，引入了生成模型作为数据源来合成具有多样化背景、纹理和材料的困难图像，该基准称为 ImageNet-D，实验结果表明 ImageNet-D 对于多种视觉模型都导致了显著的准确率下降。

Abstract

We establish rigorous benchmarks for visual perception robustness. Synthetic images such as ImageNet-C, ImageNet-9, and Stylized ImageNet provide specific type of evaluation over synthetic corruptions, backgrounds, and textures, yet those robustness benchmarks are restricted in specifi

visual perception synthetic images benchmark generative model diffusion models

发现论文，激发创造

大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

Jun, 2023

基于文本引导的鲁棒性基准测试

本研究探讨了图像分类器对以文字为导向的失真的鲁棒性，并利用扩散模型对图像进行不同域的编辑，研究结果表明：在不同语言为基础的失真和编辑域中，图像分类器的性能显著下降，卷积模型比变压器架构更为鲁棒，同时，常见的数据扩充技术可以提高原始数据和编辑图像的性能。

Apr, 2023

DatasetDM: 使用扩散模型合成带有感知标注的数据

通过使用基于 DALL-E 和扩散模型的生成模型，我们提出了 DatasetDM，一个通用的数据集生成模型，可以生成各种合成图像和相应的高质量感知注释。训练仅需要少于 1％的手动标记图像，使得生成无限大的注释数据集成为可能。我们生成了具有丰富密集像素级标签的数据集，并在语义分割和实例分割方面取得了最先进的结果。

Aug, 2023

大数据训练的扩散模型具有可迁移的视觉模型

通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

Mar, 2024

假装自己做到了：从合成的 ImageNet 克隆模型中学习可迁移的表征

本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。

Dec, 2022

通过属性编辑实现神经网络稳健性的基准测试：ImageNet-E

本文通过在 ImageNet 数据集中进行模型调试，探索模型对不同物体属性的敏感性，并创建了一个对象编辑工具包和基准测试 ImageNet-E，以评估图像分类器的鲁棒性。研究发现大多数深度学习模型对属性更改敏感，背景的微小变化可以导致平均准确率下降 9.23％。此外，研究还发现某些健壮性模型针对属性更改的鲁棒性不如基线模型，并提供了改善属性鲁棒性的方法。

Mar, 2023

扩散模型生成的合成数据提升 ImageNet 分类准确性

本研究使用大规模的文本到图像扩散模型对分类条件模型进行微调，进而在 ImageNet 分类准确性得分上实现了显著的提升，证明了利用自然图像模型进行生成数据增强的可行性。

Apr, 2023

通过生成数据集实现强健分类：让现实留给想象

本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

Feb, 2023

合成数据是否足够？基于合成图像训练模型的稳健性评估

通过提供第一个三类合成克隆模型（即有监督、自监督和多模态）的基准测试，我们发现现有的合成的自监督和多模态克隆模型在多种稳健性指标上与真实图像基线相媲美甚至超越，但合成克隆模型对对抗性噪声和真实世界噪声更加敏感，同时发现同时使用真实数据和合成数据可以进一步增加稳健性，并且生成合成图像的提示选择对合成克隆模型的稳健性起到重要作用。

May, 2024

关于检测扩散模型生成的合成图像

本文旨在了解人们无法将由扩散模型产生的合成图像与原始图像区分开来的难度，并研究当前的最先进检测器是否适用于此任务。

Nov, 2022