Jun, 2024

合成训练图像的未实现承诺：使用检索的真实图像性能更好

PDF
TL;DR通过对比采用生成模型生成的人工数据和来自真实数据的有针对性图像进行微调，在任务上针对性生成的合成数据被真实数据普遍匹配或超越，这表明合成图像中存在生成器伪像和不准确的任务相关视觉细节。总体而言，我们认为在使用合成数据进行训练时，检索是一个必须考虑的关键基线。
generative text-to-image modelsvision modelssynthetic datafinetuningretrieval baseline
发现论文，激发创造
  • 合成图像在迁移学习中是否有用？关于数据生成、容量和利用的研究调查

    通过合成图像数据生成实现的迁移学习模型训练为主题的研究中，我们提出了一种新的两阶段框架，称为桥接传递，通过使用合成图像进行模型微调从而提高其迁移能力，随后使用真实数据进行快速适应。同时，我们提出了数据集风格反转策略来提高合成图像与真实图像之间的风格对齐。通过在 10 个不同数据集和 5 个不同模型上的评估，我们展示了一致的改进效果，在分类任务上的准确率提高高达 30%。有趣的是，我们注意到改进还未饱和，这表明随着合成数据量的增加，还可能进一步提高收益。

    Mar, 2024

  • 多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

    通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

    Dec, 2023

  • 生成模型合成数据是否可以用于图像识别？

    本文针对最新的文本到图像生成模型产生高保真类照片的现象进行了研究，详细探讨了这些合成图像在识别任务中的可行性和应用前景，并提出了针对数据缺乏情况和大规模模型预训练的综合应用策略。

    Oct, 2022

  • 假装自己做到了：从合成的 ImageNet 克隆模型中学习可迁移的表征

    本研究通过研究使用 Stable Diffusion 生成的合成图像作为 ImageNet 分类训练模型的数据集对比实际图像，探讨在训练图像预测模型时实际图像是否已经被合成图像取代，并发现在某些标准模型分类基准下训练合成图像可以缩小与真实图像训练模型之间的差距，从而展示训练合成图像的模型优秀的概括泛化性能和传输表现。

    Dec, 2022

  • 合成与真实之间的鸿沟：利用迁移学习探索稳定扩散生成数据边界

    通过对于学生模型的不同层进行实验研究，本文发现学生模型的精度下降主要源于模型的最后几层，进而调查了其他因素的影响，同时结合研究成果提出了通过在最后几层上使用真实数据对合成训练的模型进行微调来改善训练数据使用效率和模型准确度之间的权衡问题。

    May, 2024

  • 真假：通过分布匹配进行有效的训练数据合成

    我们通过广泛的实验验证了我们的合成数据在各种图像分类任务中的有效性，既可以替代真实数据集，也可以作为其增强，同时也有益于挑战性任务，如超出分布的泛化和隐私保护。

    Oct, 2023

  • 关于迭代重新训练生成模型的稳定性

    本文开发了一个框架，以严格研究在混合数据集（包括真实和合成数据）上训练生成模型对它们的稳定性的影响。通过在 CIFAR10 和 FFHQ 上迭代训练常规流和最先进的扩散模型，我们在合成和自然图像上经验验证了我们的理论。

    Sep, 2023

  • 让真实图像作为判断者，发现由生成模型合成的假图像

    通过学习真实图像的自然特征，利用监督对比学习的方法，我们的研究提出了一种探测器，针对虚假图像中的伪像纹理的变化进行检测，并在广泛的实验证明了其在未知伪造技术的泛化和对不同变换的鲁棒性方面的显著优势。

    Mar, 2024

  • 提高深度生成数据的效果

    即使合成图像在下游图像分类任务中导致性能下降，通过使用合成图像增强真实数据可以在数据稀缺情况下提升下游分类任务的表现，内容差距是这一现象的较大部分原因，我们提出了策略来更好地利用深度生成模型中的合成图像。

    Nov, 2023

  • 扩散模型生成的合成数据提升 ImageNet 分类准确性

    本研究使用大规模的文本到图像扩散模型对分类条件模型进行微调，进而在 ImageNet 分类准确性得分上实现了显著的提升，证明了利用自然图像模型进行生成数据增强的可行性。

    Apr, 2023