Oct, 2022

自导扩散模型

PDF
TL;DR本文介绍了一种自导扩散模型的方法，它可以利用自我监督信号来提供图像生成的指导，而无需大量的图像注释对。通过结合特征提取功能和自注释功能，我们的方法可以为各种图像颗粒度提供指导信号，从整体图像到对象框甚至分割掩模。我们的实验表明，我们的方法在单标签和多标签图像数据集上总是优于无指导的扩散模型，甚至可能超过基于基础真实标签的指导，特别是在不平衡数据上。
diffusion modelsself-guidedself-supervision signalsimage generationobject boxes
发现论文，激发创造
  • 扩散自导式可控图片生成

    本篇研究介绍了 self-guidance 这一新方法，通过指导扩散模型的内部表示，提供了对生成图像更强的控制力，可以从这些表示中提取对象的形状、位置和外观等属性，并使用它们来控制生成的采样，这种方法类似于分类器引导，但是不需要额外的模型或训练，作者演示了如何使用这种方法进行复杂的图像操作，如修改对象的位置或大小，合并图像中对象的外观和布局等，并证明了 self-guidance 还可以用于编辑真实图像。

    Jun, 2023

  • 自我监督扩散特征引导扩散

    通过提取扩散模型的指导信号以及应用自监督学习背骨（如 DINO）进行指导，我们在特征正则化、在线训练方法和应用扩散模型方面提出了重要贡献，取得了卓越的性能，优于大规模数据集中的相关基准比较，如 ImageNet256、ImageNet256-100 和 LSUN-Churches。

    Dec, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 以自身的错误版本引导扩散模型

    使用自身较小、较少训练的模型而不是无条件模型，引导生成图像，可以获得图像质量分离的控制，同时不减少变化量。这在 ImageNet 生成方面有显著的改进，64x64 像素的 FID 为 1.01，512x512 像素的 FID 为 1.25，使用公开可用的网络。此方法还适用于无条件扩散模型，大幅提高它们的质量。

    Jun, 2024

  • DiffusionSeg: 适应扩散的非监督物体发现

    本文提出了 DiffusionSeg 框架，利用预训练和扩散模型实现无监督物体发现，并采用合成 - 利用两阶段策略来缓解数据不足和结构差异问题，采用反演技术将图像映射回扩散特征，通过大量实验验证了该方法的优越性。

    Mar, 2023

  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • 使用自注意力引导改善扩散模型的样本质量

    本文提出了两种新的无需条件策略：模糊引导和高级自注意引导来增强生成图像的质量，这些方法不仅简单有效，还提高了各种扩散模型的性能。

    Oct, 2022

  • 运动引导：基于可微运动估计的扩散图像编辑

    通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

    Jan, 2024

  • 学习表示引导的扩散模型用于大规模图像生成

    该研究介绍了一种使用自我监督学习嵌入条件的扩散模型来生成高质量的病理学和卫星图像的方法。通过从自我监督学习表示中提取嵌入，可以生成大型图像，并通过生成变化的真实图像加强下游分类器的准确性。此方法在训练过程中表现出鲁棒性和普遍性，对于不同数据集的图像生成同样有效。

    Dec, 2023

  • 非分类器扩散引导

    本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

    Jul, 2022