合成数据是否足够？基于合成图像训练模型的稳健性评估

CVPRMay, 2024

合成数据是否足够？基于合成图像训练模型的稳健性评估

Is Synthetic Data all We Need? Benchmarking the Robustness of Models Trained with Synthetic Images

Krishnakant Singh, Thanush Navaratnam, Jannik Holmer, Simone Schaub-Meyer, Stefan Roth

TL;DR通过提供第一个三类合成克隆模型（即有监督、自监督和多模态）的基准测试，我们发现现有的合成的自监督和多模态克隆模型在多种稳健性指标上与真实图像基线相媲美甚至超越，但合成克隆模型对对抗性噪声和真实世界噪声更加敏感，同时发现同时使用真实数据和合成数据可以进一步增加稳健性，并且生成合成图像的提示选择对合成克隆模型的稳健性起到重要作用。

Abstract

A long-standing challenge in developing machine learning approaches has been the lack of high-quality labeled data. Recently, models trained with purely synthetic data, here termed synthetic clones, generated usi

machine learning synthetic data benchmark robustness adversarial noise

发现论文，激发创造

假装自己做到了：从合成的 ImageNet 克隆模型中学习可迁移的表征

本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。

Dec, 2022

多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

Dec, 2023

合성医学影像的质量如何？肺部超声的实证研究

通过使用生成模型中的合成训练数据，本研究提出了一个全面框架，以提高医学图像分析的模型开发效果，同时解决数据稀缺、数据不平衡和患者隐私问题。通过在各种规模的数据集上进行测试，我们展示了生成模型作为数据增广方法的优势，以及通过敌对方法保护患者隐私以及使用实际留存数据进行模型测试的新型性能指标。我们证明了使用合成数据和真实数据进行训练优于仅使用真实数据进行训练，并且仅使用合成数据进行训练的模型接近仅使用真实数据进行训练的模型。

Oct, 2023

分析合成和真实数据对物体检测性能的影响：我们实际需要多少真实数据？

本文探讨使用合成数据来代替真实数据训练深度网络的效果，分析有限真实数据的影响，使用模拟工具创建大量廉价注释合成数据，并提供设计方法论程序的见解。

Jul, 2019

模型训练中的合成图像缩放定律…… 目前而言

通过研究最先进的文本到图像模型生成的合成图像在规模上的表现，本文发现合成图像在训练监督图像分类器时性能较差原因是某些概念无法被现成的文本到图像模型生成，但对于与真实图像结合训练 CLIP 模型或存在真实图像供给不足或评估数据集与训练数据差异较大的情况下，扩大合成数据规模可能特别有效。

Dec, 2023

通过生成数据集实现强健分类：让现实留给想象

本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

Feb, 2023

分析虚假训练数据对深度学习系统性能的影响

本文深入分析了使用不同比例的真实数据和合成数据来训练计算机视觉模型对模型鲁棒性和预测质量的影响，证明使用生成对抗网络生成高质量合成数据可以减轻深度学习模型面临的挑战。

Mar, 2023

语义分割中的可靠性问题：我们能否使用合成数据？

本文挑战了最先进的生成模型，通过对稳定扩散进行微调，在语义分割方面自动生成合成数据以评估其可靠性。通过广泛实验，我们表明合成数据与真实异常数据的表现之间存在高度相关性，从而显示了该方法的有效性。此外，我们说明了如何利用合成数据来提高分割器的校准和异常检测能力。

Dec, 2023

对扩散合成目标的神经网络稳健性进行基准测试

我们建立了视觉感知稳健性的严格基准，通过合成图像进行评估，引入了生成模型作为数据源来合成具有多样化背景、纹理和材料的困难图像，该基准称为 ImageNet-D，实验结果表明 ImageNet-D 对于多种视觉模型都导致了显著的准确率下降。

Mar, 2024

使用合成数据训练深度人脸识别系统

本研究使用 3D 可变形面部模型，通过合成数据生成具有不同面部身份和完全控制的姿态、光照和背景的图像，观察到利用合成数据可以显著降低对真实世界图像需求，在预训练后，通过微调真实图像，合成数据与真实数据相结合的模型可获得更高的性能，而且并没有负面影响。

Feb, 2018