Aug, 2023

DatasetDM: 使用扩散模型合成带有感知标注的数据

PDF
TL;DR通过使用基于 DALL-E 和扩散模型的生成模型，我们提出了 DatasetDM，一个通用的数据集生成模型，可以生成各种合成图像和相应的高质量感知注释。训练仅需要少于 1％的手动标记图像，使得生成无限大的注释数据集成为可能。我们生成了具有丰富密集像素级标签的数据集，并在语义分割和实例分割方面取得了最先进的结果。
deep networksgenerative modelsdataset generationperception annotationssemantic segmentation
发现论文，激发创造
  • DetDiffusion：将生成模型和感知模型协同工作以提升数据生成和感知能力

    当前的感知模型依赖于资源密集型的数据集，因此需要创新性的解决方案。通过利用扩散模型和合成数据，通过从各种注释中构建图像输入，有助于下游任务。DetDiffusion 首次统一了生成模型和感知模型，解决了为感知模型生成有效数据的挑战。为了增强感知模型的图像生成能力，我们引入了感知感知损失（P.A. 损失），通过分割改善图像的质量和可控性。为了提高特定感知模型的性能，我们的方法在生成过程中提取和利用感知感知属性（P.A. 属性）进行自定义数据增强。目标检测任务的实验结果突出了 DetDiffusion 卓越的性能，在布局引导生成方面建立了新的最先进技术水平。此外，DetDiffusion 生成的图像合成能够有效增强训练数据，显著提高下游检测性能。

    Mar, 2024

  • 数据集扩散：基于扩散的像素级语义分割合成数据集生成

    通过利用文本到图像生成模型 Stable Diffusion (SD) 的文本提示、交叉注意力和自我注意力，我们引入了三种新技术：类别提示附加，类别提示交叉注意力和自我注意力指数化，从而生成与合成图像相对应的分割地图，这些地图可以作为训练语义分割器的伪标签，消除了对像素级注释的繁重需求，我们还在 PASCAL VOC 和 MSCOCO 两个数据集上进行了评估，我们的方法明显优于同行的工作。

    Sep, 2023

  • 关于检测扩散模型生成的合成图像

    本文旨在了解人们无法将由扩散模型产生的合成图像与原始图像区分开来的难度，并研究当前的最先进检测器是否适用于此任务。

    Nov, 2022

  • 大数据神话：使用扩散模型进行数据集生成以训练深度检测模型

    本研究提出了一种通过微调预训练的稳定扩散模型生成合成数据集的框架，并用于对象检测模型的训练，研究结果表明，在苹果果园检测中，合成数据训练的对象检测模型的性能与真实世界图像训练得到的基线模型相似，这表明了合成数据生成技术作为深度模型训练的可行替代方法的潜力。

    Jun, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • DreamDA: 用扩散模型进行生成型数据增强

    该论文提出了一个新的基于扩散模型的分类导向框架 DreamDA，通过考虑训练图像中的原始数据作为种子并扰动其反扩散过程，DreamDA 生成符合原始数据分布的多样样本，并引入自训练范式生成伪标签和使用合成数据训练分类器，在四个任务和五个数据集上进行的广泛实验证明了 DreamDA 在合成高质量多样的图像并生成准确标签方面的有效性。

    Mar, 2024

  • 通过扩散模型实现语义图像合成

    本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

    Jun, 2022

  • 使用合成磁共振图像的脑肿瘤分割 ——GAN 和扩散模型的比较

    本文研究了利用生成模型如 GANs 构建的合成影像，其在大脑肿瘤分割任务上与真实影像训练的性能差异，发现实验结果在一定数据量下合成影像可以很好地训练神经网络，而常用的评估合成影像的指标无法很好地预测其在特定任务上的性能。

    Jun, 2023

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • SatDM：使用扩散模型进行语义布局调节的合成逼真卫星图像

    利用条件 DDPM 模型生成高质量、多样化和准确的卫星图像，以及改进噪声调度、自适应归一化和自注意机制，通过算法和人类意见研究验证其在数据增强等实际应用中的有效性。

    Sep, 2023