Feb, 2024

InstaGen: 通过合成数据集训练以增强目标检测

PDF
TL;DR通过在扩展类别或提高检测性能方面训练基于扩散模型生成的合成数据集，我们在本文中引入了一种新的范例来增强目标检测器的能力。具体而言，我们将实例级别的定位引导器集成到预训练的生成扩散模型中，使其具备定位生成图像中的任意实例的能力。该定位引导器通过使用一款现成的物体检测器的监督和一种针对检测器未涵盖的（新颖）类别的自我训练方案，将类别名称的文本嵌入与扩散模型的区域视觉特征对齐进行训练。这一增强版的扩散模型被称为 InstaGen，可用作目标检测的数据合成器。我们进行了详尽的实验，结果显示在从 InstaGen 的合成数据集上进行训练时，目标检测器可以得到增强，在开放词汇（+4.5 AP）和数据稀缺（+1.2 至 5.2 AP）的情景中表现出比现有最先进方法更好的性能。
发现论文，激发创造
  • 室内场景物体检测训练数据的合成

    本文探讨了使用合成图像训练最先进的对象检测器，特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起，以便在各种位置和比例上进行训练。通过这些实验，我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。

    Feb, 2017

  • Gen2Det: 生成检测

    利用最先进的实地图像生成方法，Gen2Det 提出一个简单的模块化流程来创建用于对象检测的免费合成训练数据，包括图像级过滤、实例级过滤和改进的训练配方以应对生成中的缺陷，并在各种设置下对对象检测和分割任务显示出良好的改进。

    Dec, 2023

  • 大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

    本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

    Jun, 2023

  • 在跨概念设置中提高合成生成图像的检测

    本文探讨了在不同概念类之间泛化的挑战，并提出了一种基于质量评估模型的质量抽样方法，通过 StyleGAN2 和 Latent Diffusion 生成的图像进行实验，结果表明采用本文提出的方法可以提高合成图像检测器的检测性能。

    Apr, 2023

  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • 多元化训练，不是微调：使用合成图像扩大视觉识别训练规模

    通过在大型语言模型和 CLIP 的辅助下，使用生成模型生成合成训练图像来解决类名的歧义性、缺乏多样性的问题，并利用域适应技术和辅助批归一化来减轻领域偏移，以更好地提升模型识别性能。

    Dec, 2023

  • 超越生成：利用文本至图像模型进行对象检测和分割

    通过使用文本到图像合成框架（如 DALL-E、稳定扩散等），我们提出了一种新的范式，以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分，并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。

    Sep, 2023

  • 扩散模型生成的合成数据提升 ImageNet 分类准确性

    本研究使用大规模的文本到图像扩散模型对分类条件模型进行微调，进而在 ImageNet 分类准确性得分上实现了显著的提升，证明了利用自然图像模型进行生成数据增强的可行性。

    Apr, 2023

  • 用强基准方法改进合成数据上的目标检测训练

    我们提出了一种在合成数据上训练预训练目标检测器的方法，通过提取合成数据的显著信息并保留在真实图像上预训练的有用特征，结合数据增强方法和 Transformer 骨干网络，我们在 RarePlanes、DGTA-VisDrone 数据集上改进了合成数据训练的目标检测技术，并在公司内部车辆检测数据集上达到近乎完美的性能。

    May, 2024

  • 一个注释保存就是一个注释赚到手：使用全合成训练进行对象实例检测

    本文提出了一种全新的方法来创造纯合成训练数据，通过利用大量的 3D 背景模型和完全领域随机化的方法得到逼真的背景图像，并使用 “课程策略” 来生成所有前景模型，从而得到最佳的训练样本。使用 64 个商品对象进行实验，表明我们的简单方法可以训练出优于实际数据的检测器。

    Feb, 2019