大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

Jun, 2023

大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

The Big Data Myth: Using Diffusion Models for Dataset Generation to Train Deep Detection Models

Roy Voetman, Maya Aghaei, Klaas Dijkstra

TL;DR本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

Abstract

Despite the notable accomplishments of deep object detection models, a major challenge that persists is the requirement for extensive amounts of training data. The process of procuring such real-world data is a laborious undertaking, which has prompted researchers to explore new avenue

deep object detection synthetic data generation pretrained stable diffusion models annotated training apple detection in orchards

发现论文，激发创造

数据集合成效果探索：在果园中应用于苹果检测

本研究探讨了使用稳定扩散 2.1 基础库生成苹果树合成数据集的可行性，并将其与基于真实数据训练的基准模型进行了比较。通过 YOLOv5m 对模型进行评估，结果表明使用合成数据进行训练的模型在真实图像上的性能略低于基准模型，但这些结果具有高度的前景，证明了合成数据生成技术作为目标检测模型训练数据收集的一种可行替代方法的潜力。

Jun, 2023

使用合成数据训练目标检测模型的分析

本文研究使用合成数据进行物体检测的方法及其性能，实验结果给出了使用合成数据的基本指导原则，并对比了不同训练技术。

Nov, 2022

用强基准方法改进合成数据上的目标检测训练

我们提出了一种在合成数据上训练预训练目标检测器的方法，通过提取合成数据的显著信息并保留在真实图像上预训练的有用特征，结合数据增强方法和 Transformer 骨干网络，我们在 RarePlanes、DGTA-VisDrone 数据集上改进了合成数据训练的目标检测技术，并在公司内部车辆检测数据集上达到近乎完美的性能。

May, 2024

分析合成和真实数据对物体检测性能的影响：我们实际需要多少真实数据？

本文探讨使用合成数据来代替真实数据训练深度网络的效果，分析有限真实数据的影响，使用模拟工具创建大量廉价注释合成数据，并提供设计方法论程序的见解。

Jul, 2019

将域随机化应用于合成数据以进行目标类别检测

本文探讨了在具有特定应用领域的少量标记图像的情况下，使用人工合成的数据可以更好地代替 fine-tune 预训练网络，并展示了随机化流程中不同组件的个体贡献。

Jul, 2018

DatasetDM: 使用扩散模型合成带有感知标注的数据

通过使用基于 DALL-E 和扩散模型的生成模型，我们提出了 DatasetDM，一个通用的数据集生成模型，可以生成各种合成图像和相应的高质量感知注释。训练仅需要少于 1％的手动标记图像，使得生成无限大的注释数据集成为可能。我们生成了具有丰富密集像素级标签的数据集，并在语义分割和实例分割方面取得了最先进的结果。

Aug, 2023

合成与真实之间的鸿沟：利用迁移学习探索稳定扩散生成数据边界

通过对于学生模型的不同层进行实验研究，本文发现学生模型的精度下降主要源于模型的最后几层，进而调查了其他因素的影响，同时结合研究成果提出了通过在最后几层上使用真实数据对合成训练的模型进行微调来改善训练数据使用效率和模型准确度之间的权衡问题。

May, 2024

扩散深度伪造

通过生成式 AI 和扩散模型，我们引入了两个广泛的生成伪造数据集，用于测试当前深伪造检测器的脆弱性，并提出了增强训练数据多样性和动量困难提升策略来改进模型的普适性。通过全面评估，我们的模型优化方法明显优于以前的替代方案。

Apr, 2024

仅有少量样本的图像变化检测

这篇论文主要讨论了利用少量样本进行图像变化检测的问题，并通过使用简单的图像处理方法生成合成但具有信息量的数据集并设计了基于目标检测的早期融合网络来解决数据集不足导致的泛化能力差的问题。研究结果表明，使用合成数据训练的模型具有更好的泛化能力，且在此基础上利用少量样本进行微调能够获得优秀的结果。

Nov, 2023

关于扩散模型在合成训练数据集中的限制

通过分析真实样本复制过程中通过扩散和反向过程重建的合成样本，我们发现现代扩散模型不能完美地代表数据分布以用于训练鉴别性任务，这意味着合成数据集在分类性能上不如真实数据集。我们的研究结果表明，合成数据在增加反向步骤时集中于训练数据分布的模式，难以覆盖分布的外边缘，因此现代扩散模型在复制训练数据分布方面还有改进的空间。

Nov, 2023