May, 2024

ODGEN: 使用扩散模型进行领域特定目标检测数据生成

PDF
TL;DRODGEN 是一种新的条件高质量图像生成方法，用于生成复杂场景中多类对象和具有遮挡的密集对象，进而促进目标检测数据的合成。通过在裁剪的前景对象和整个图像上对预训练的扩散模型进行微调，再借助合成的视觉提示和对象描述来控制扩散模型，ODGEN 在处理复杂场景和特定领域方面表现出了鲁棒性，并通过数据集合成管道在 7 个特定领域的基准测试中进行了评估以展示其有效性，与 YOLOv5 和 YOLOv7 等对象检测器相比，添加 ODGEN 生成的训练数据可以将 [email protected]:.95 改善高达 25.3%，而且在基于 COCO-2014 的评估协议下，ODGEN 在一般领域中的 [email protected]:.95 优势高达 5.6%。
diffusion-based image generative modelsobject detectionodgendataset synthesiscontrollable generative methods
发现论文，激发创造
  • 农业物体检测领域自适应中的扩散

    该研究提出了 DODA，一种能够在农业领域生成高质量物体检测数据的数据合成器，通过将布局编码为图像，提高了布局到图像的可控性，从而改善了标签的质量，并使用视觉编码器为扩散模型提供视觉线索，使模型能够在新领域生成数据。在全球小麦头部检测（GWHD）数据集上，采用 DODA 合成的数据提高了目标检测器在与训练数据显著不同的领域中的表现，AP$_{50}$ 提升了 12.74-17.76。

    Mar, 2024

  • 将 3D 几何控制添加到扩散模型中

    本篇论文提出了一种利用 3D geometry control 和 visual prompts 的扩展 diffusion models 生成图像的方法，可应用于计算机视觉任务并经过多个数据集的多次实验验证其效果。

    Jun, 2023

  • InstaGen: 通过合成数据集训练以增强目标检测

    通过在扩展类别或提高检测性能方面训练基于扩散模型生成的合成数据集，我们在本文中引入了一种新的范例来增强目标检测器的能力。具体而言，我们将实例级别的定位引导器集成到预训练的生成扩散模型中，使其具备定位生成图像中的任意实例的能力。该定位引导器通过使用一款现成的物体检测器的监督和一种针对检测器未涵盖的（新颖）类别的自我训练方案，将类别名称的文本嵌入与扩散模型的区域视觉特征对齐进行训练。这一增强版的扩散模型被称为 InstaGen，可用作目标检测的数据合成器。我们进行了详尽的实验，结果显示在从 InstaGen 的合成数据集上进行训练时，目标检测器可以得到增强，在开放词汇（+4.5 AP）和数据稀缺（+1.2 至 5.2 AP）的情景中表现出比现有最先进方法更好的性能。

    Feb, 2024

  • OodGAN: 用于域外数据生成的生成对抗网络

    使用 SeqGAN 的 OodGAN 模型，可直接处理文本数据而无需附加自编码器组件，生成的 OOD 数据优于 ROSTD 和 OSQ 数据集的现有模型，因其相应的假阳性率的 FPR 0.95 相对提高了 67％和 28％（Zheng et al.，2020）。

    Apr, 2021

  • DiffusionDet: 目标检测的扩散模型

    DiffusionDet 是一种将对象检测作为从噪声框到对象框的去噪扩散过程的新框架，其在训练阶段通过对象框从地面实况框扩散到随机分布，模型学习将该过程反转，在推断阶段，模型以渐进方式将一组随机生成框细化为输出结果，使用随机框作为对象候选框有利于解决对象检测问题，并且该问题可以通过生成方法来解决。

    Nov, 2022

  • 使用扩散模型进行未见图像合成

    通过使用预训练和冻结的去噪扩散概率模型 (DDPM) 来逆向编码并优化隐藏域，从未见过的域图像合成，证明了这种新颖视角探索和重新思考扩散模型的数据合成广义能力的有效性。

    Oct, 2023

  • 在任何场景中生成任何物体

    我们提出了一种简单高效的数据增强训练策略，通过插入适配器层来引导扩散模型仅专注于对象身份，使得我们的模型具备控制每个生成个性化对象的位置和大小的能力，并提出了区域引导抽样技术来保持生成图像的质量和保真度。

    Jun, 2023

  • 小数据目标检测的生成建模

    本文介绍了一种利用生成模型来解决在小样本数据集下机器学习中的物体检测问题的方法，旨在克服 “稀缺性” 和 “注释费用高” 等挑战，本文采用一种新型滚动机制的模型，可以同时优化生成模型和探测器，以提高探测器性能，结果表明本方法在疾病检测和小数据行人检测等数据集上表现优异，相对平均精度提高了 20％，定位精度提高 50％。

    Oct, 2019

  • DiffGuard: 利用预训练扩散模型进行语义不匹配引导的 ODD 检测

    使用预训练扩散模型进行语义不匹配引导的 OOD 检测，名为 DiffGuard，在 Cifar-10 和大规模 ImageNet 上表现出效果，并且可以与现有的 OOD 检测技术轻松结合以实现最先进的结果。

    Aug, 2023

  • Microsoft Bing 上的大规模通用目标检测

    本文介绍 Generic Object Detection（GenOD）系统，是一个可以在微软 Bing Visual Search 的所有查询中实时检测超过 900 个类别的最大的物体检测系统之一，可提供以物体为中心的信息，并在多种生产场景中表现出色。作者讨论了收集数据、训练、部署和更新此类大规模物体检测模型所面临的挑战。我们展示了 GenOD 相对于多个领域特定模型可以提高 20% 以上的加权平均精度，并通过所提出的不相交探测器训练来将模型更新敏捷度提高近 2 倍。最后，我们展示了 GenOD 如何通过显著提高搜索相关性和用户参与度来改善视觉搜索应用。

    Jul, 2021