合成与真实之间的鸿沟：利用迁移学习探索稳定扩散生成数据边界

May, 2024

合成与真实之间的鸿沟：利用迁移学习探索稳定扩散生成数据边界

Mind the Gap Between Synthetic and Real: Utilizing Transfer Learning to Probe the Boundaries of Stable Diffusion Generated Data

PDF

Leonhard Hennicke, Christian Medeiros Adriano, Holger Giese, Jan Mathias Koehler, Lukas Schott

TL;DR通过对于学生模型的不同层进行实验研究，本文发现学生模型的精度下降主要源于模型的最后几层，进而调查了其他因素的影响，同时结合研究成果提出了通过在最后几层上使用真实数据对合成训练的模型进行微调来改善训练数据使用效率和模型准确度之间的权衡问题。

Abstract

generative foundation models like Stable Diffusion comprise a diverse spectrum of knowledge in computer vision with the potential for transfer learning, e.g., via generating data to train student models for downs

generative foundation models knowledge distillation data-free learning student models fine-tuning

发现论文，激发创造

大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

Jun, 2023

合成图像在迁移学习中是否有用？关于数据生成、容量和利用的研究调查

通过合成图像数据生成实现的迁移学习模型训练为主题的研究中，我们提出了一种新的两阶段框架，称为桥接传递，通过使用合成图像进行模型微调从而提高其迁移能力，随后使用真实数据进行快速适应。同时，我们提出了数据集风格反转策略来提高合成图像与真实图像之间的风格对齐。通过在 10 个不同数据集和 5 个不同模型上的评估，我们展示了一致的改进效果，在分类任务上的准确率提高高达 30%。有趣的是，我们注意到改进还未饱和，这表明随着合成数据量的增加，还可能进一步提高收益。

Mar, 2024

真假：通过分布匹配进行有效的训练数据合成

我们通过广泛的实验验证了我们的合成数据在各种图像分类任务中的有效性，既可以替代真实数据集，也可以作为其增强，同时也有益于挑战性任务，如超出分布的泛化和隐私保护。

Oct, 2023

关于迭代重新训练生成模型的稳定性

本文开发了一个框架，以严格研究在混合数据集（包括真实和合成数据）上训练生成模型对它们的稳定性的影响。通过在 CIFAR10 和 FFHQ 上迭代训练常规流和最先进的扩散模型，我们在合成和自然图像上经验验证了我们的理论。

Sep, 2023

假装自己做到了：从合成的 ImageNet 克隆模型中学习可迁移的表征

本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。

Dec, 2022

合成训练图像的未实现承诺：使用检索的真实图像性能更好

通过对比采用生成模型生成的人工数据和来自真实数据的有针对性图像进行微调，在任务上针对性生成的合成数据被真实数据普遍匹配或超越，这表明合成图像中存在生成器伪像和不准确的任务相关视觉细节。总体而言，我们认为在使用合成数据进行训练时，检索是一个必须考虑的关键基线。

Jun, 2024

关于扩散模型在合成训练数据集中的限制

通过分析真实样本复制过程中通过扩散和反向过程重建的合成样本，我们发现现代扩散模型不能完美地代表数据分布以用于训练鉴别性任务，这意味着合成数据集在分类性能上不如真实数据集。我们的研究结果表明，合成数据在增加反向步骤时集中于训练数据分布的模式，难以覆盖分布的外边缘，因此现代扩散模型在复制训练数据分布方面还有改进的空间。

Nov, 2023

稳定扩散数据集生成用于下游分类任务

在最近的生成人工智能的进展中，我们利用稳定扩散 2.0 模型来生成合成数据集，通过迁移学习、微调和生成参数优化技术改善了数据集在下游分类任务中的效用，我们提出了一种条件类别版本的模型，利用类编码器和关键生成参数的优化。使用我们的方法，在三分之一的情况下，合成数据集产生的模型胜过在真实数据集上训练的模型。

May, 2024

多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

Dec, 2023

分析虚假训练数据对深度学习系统性能的影响

本文深入分析了使用不同比例的真实数据和合成数据来训练计算机视觉模型对模型鲁棒性和预测质量的影响，证明使用生成对抗网络生成高质量合成数据可以减轻深度学习模型面临的挑战。

Mar, 2023