合成图像在迁移学习中是否有用？关于数据生成、容量和利用的研究调查

ICLRMar, 2024

合成图像在迁移学习中是否有用？关于数据生成、容量和利用的研究调查

Is Synthetic Image Useful for Transfer Learning? An Investigation into Data Generation, Volume, and Utilization

Yuhang Li, Xin Dong, Chen Chen, Jingtao Li, Yuxin Wen...

TL;DR通过合成图像数据生成实现的迁移学习模型训练为主题的研究中，我们提出了一种新的两阶段框架，称为桥接传递，通过使用合成图像进行模型微调从而提高其迁移能力，随后使用真实数据进行快速适应。同时，我们提出了数据集风格反转策略来提高合成图像与真实图像之间的风格对齐。通过在 10 个不同数据集和 5 个不同模型上的评估，我们展示了一致的改进效果，在分类任务上的准确率提高高达 30%。有趣的是，我们注意到改进还未饱和，这表明随着合成数据量的增加，还可能进一步提高收益。

Abstract

synthetic image data generation represents a promising avenue for training deep learning models, particularly in the realm of transfer learning, where obtaining real images within a specific domain can be prohibi

synthetic image data generation transfer learning text-to-image generative models bridged transfer dataset style inversion

发现论文，激发创造

多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

Dec, 2023

合成训练图像的未实现承诺：使用检索的真实图像性能更好

通过对比采用生成模型生成的人工数据和来自真实数据的有针对性图像进行微调，在任务上针对性生成的合成数据被真实数据普遍匹配或超越，这表明合成图像中存在生成器伪像和不准确的任务相关视觉细节。总体而言，我们认为在使用合成数据进行训练时，检索是一个必须考虑的关键基线。

Jun, 2024

生成模型合成数据是否可以用于图像识别？

本文针对最新的文本到图像生成模型产生高保真类照片的现象进行了研究，详细探讨了这些合成图像在识别任务中的可行性和应用前景，并提出了针对数据缺乏情况和大规模模型预训练的综合应用策略。

Oct, 2022

合成与真实之间的鸿沟：利用迁移学习探索稳定扩散生成数据边界

通过对于学生模型的不同层进行实验研究，本文发现学生模型的精度下降主要源于模型的最后几层，进而调查了其他因素的影响，同时结合研究成果提出了通过在最后几层上使用真实数据对合成训练的模型进行微调来改善训练数据使用效率和模型准确度之间的权衡问题。

May, 2024

假装自己做到了：从合成的 ImageNet 克隆模型中学习可迁移的表征

本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。

Dec, 2022

域风格迁移：一种强而简单的合成到真实图像域自适应基准线

通过对于一种现有的照片风格转换算法进行简单的修改，本文展示了应用于真实图像时的深度神经网络有效利用合成数据的方法，提高了合成图像到真实图像的领域适应性。我们在语义分割和物体检测的四个合成到真实的任务上进行了广泛的实验验证，展示了我们的方法在基于分割和物体检测的度量方面超越了任何当前的基于 GAN 的图像翻译方法的性能。此外，我们还通过距离分析方法，展示了我们的算法在缩小他们之间距离并且将合成数据转换为真实数据方面得到的显著效果。

Jul, 2018

深度学习的合成数据

本研究展示了合成数据的各种发展和应用方向，其中讨论合成数据的基本计算机视觉问题、室内外场景合成及数据应用、机器人仿真环境、合成数据在隐私相关应用方面的重要性，同时概括了如何改进和生产合成数据的替代方法。其次，介绍了合成数据转化后的真实应用存在的问题，最后，着重强调了未来在合成数据研究方面的最有潜力的方向。

Sep, 2019

使用合成数据训练深度人脸识别系统

本研究使用 3D 可变形面部模型，通过合成数据生成具有不同面部身份和完全控制的姿态、光照和背景的图像，观察到利用合成数据可以显著降低对真实世界图像需求，在预训练后，通过微调真实图像，合成数据与真实数据相结合的模型可获得更高的性能，而且并没有负面影响。

Feb, 2018

真假：通过分布匹配进行有效的训练数据合成

我们通过广泛的实验验证了我们的合成数据在各种图像分类任务中的有效性，既可以替代真实数据集，也可以作为其增强，同时也有益于挑战性任务，如超出分布的泛化和隐私保护。

Oct, 2023

城市场景语义分割中合成数据的有效使用

本文提出了一种无需真实图像数据的方法，通过修改前景和背景类的训练方法来适应合成图像，有效地训练出了适用于城市街景和驾驶场景的图像语义分割模型。

Jul, 2018