Gen2Det: 生成检测
通过在扩展类别或提高检测性能方面训练基于扩散模型生成的合成数据集,我们在本文中引入了一种新的范例来增强目标检测器的能力。具体而言,我们将实例级别的定位引导器集成到预训练的生成扩散模型中,使其具备定位生成图像中的任意实例的能力。该定位引导器通过使用一款现成的物体检测器的监督和一种针对检测器未涵盖的(新颖)类别的自我训练方案,将类别名称的文本嵌入与扩散模型的区域视觉特征对齐进行训练。这一增强版的扩散模型被称为 InstaGen,可用作目标检测的数据合成器。我们进行了详尽的实验,结果显示在从 InstaGen 的合成数据集上进行训练时,目标检测器可以得到增强,在开放词汇(+4.5 AP)和数据稀缺(+1.2 至 5.2 AP)的情景中表现出比现有最先进方法更好的性能。
Feb, 2024
DiffusionDet 是一种将对象检测作为从噪声框到对象框的去噪扩散过程的新框架,其在训练阶段通过对象框从地面实况框扩散到随机分布,模型学习将该过程反转,在推断阶段,模型以渐进方式将一组随机生成框细化为输出结果,使用随机框作为对象候选框有利于解决对象检测问题,并且该问题可以通过生成方法来解决。
Nov, 2022
本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架,并用于对象检测模型的训练,研究结果表明,在苹果果园检测中,合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似,这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。
Jun, 2023
本文探讨了在不同概念类之间泛化的挑战,并提出了一种基于质量评估模型的质量抽样方法,通过 StyleGAN2 和 Latent Diffusion 生成的图像进行实验,结果表明采用本文提出的方法可以提高合成图像检测器的检测性能。
Apr, 2023
本文探讨了使用合成图像训练最先进的对象检测器,特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起,以便在各种位置和比例上进行训练。通过这些实验,我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。
Feb, 2017
通过使用文本到图像合成框架(如 DALL-E、稳定扩散等),我们提出了一种新的范式,以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分,并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。
Sep, 2023
ODGEN 是一种新的条件高质量图像生成方法,用于生成复杂场景中多类对象和具有遮挡的密集对象,进而促进目标检测数据的合成。通过在裁剪的前景对象和整个图像上对预训练的扩散模型进行微调,再借助合成的视觉提示和对象描述来控制扩散模型,ODGEN 在处理复杂场景和特定领域方面表现出了鲁棒性,并通过数据集合成管道在 7 个特定领域的基准测试中进行了评估以展示其有效性,与 YOLOv5 和 YOLOv7 等对象检测器相比,添加 ODGEN 生成的训练数据可以将 [email protected]:.95 改善高达 25.3%,而且在基于 COCO-2014 的评估协议下,ODGEN 在一般领域中的 [email protected]:.95 优势高达 5.6%。
May, 2024
本文介绍了一种利用生成模型来解决在小样本数据集下机器学习中的物体检测问题的方法,旨在克服 “稀缺性” 和 “注释费用高” 等挑战,本文采用一种新型滚动机制的模型,可以同时优化生成模型和探测器,以提高探测器性能,结果表明本方法在疾病检测和小数据行人检测等数据集上表现优异,相对平均精度提高了 20%,定位精度提高 50%。
Oct, 2019
这篇论文主要讨论了利用少量样本进行图像变化检测的问题,并通过使用简单的图像处理方法生成合成但具有信息量的数据集并设计了基于目标检测的早期融合网络来解决数据集不足导致的泛化能力差的问题。研究结果表明,使用合成数据训练的模型具有更好的泛化能力,且在此基础上利用少量样本进行微调能够获得优秀的结果。
Nov, 2023