Dec, 2023

阅读指导：从扩散特征中学习控制

PDF
TL;DR我们提出了一种名为 Readout Guidance 的方法，用于通过学习的信号控制文本到图像扩散模型。该方法使用读取头，在每个时间步从预训练的冻结扩散模型的特征中提取信号。这些读出可以编码单一图像属性，如姿态、深度和边缘；或者编码多个图像相关的高阶属性，如对应关系和外观相似性。此外，通过将读出估计与用户定义的目标进行比较，并通过读出头向后传播梯度，可以使用这些估计来指导采样过程。与先前的有条件生成方法相比，Readout Guidance 需要更少的添加参数和训练样本，并提供了一个方便而简单的方法来在一个框架、一个架构和一个采样过程下重现不同形式的条件控制。我们展示了在拖动式操作、身份一致生成和空间对齐控制的应用中的这些优势。
发现论文，激发创造
  • 扩散自导式可控图片生成

    本篇研究介绍了 self-guidance 这一新方法，通过指导扩散模型的内部表示，提供了对生成图像更强的控制力，可以从这些表示中提取对象的形状、位置和外观等属性，并使用它们来控制生成的采样，这种方法类似于分类器引导，但是不需要额外的模型或训练，作者演示了如何使用这种方法进行复杂的图像操作，如修改对象的位置或大小，合并图像中对象的外观和布局等，并证明了 self-guidance 还可以用于编辑真实图像。

    Jun, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 自我监督扩散特征引导扩散

    通过提取扩散模型的指导信号以及应用自监督学习背骨（如 DINO）进行指导，我们在特征正则化、在线训练方法和应用扩散模型方面提出了重要贡献，取得了卓越的性能，优于大规模数据集中的相关基准比较，如 ImageNet256、ImageNet256-100 和 LSUN-Churches。

    Dec, 2023

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • 自导扩散模型

    本文介绍了一种自导扩散模型的方法，它可以利用自我监督信号来提供图像生成的指导，而无需大量的图像注释对。通过结合特征提取功能和自注释功能，我们的方法可以为各种图像颗粒度提供指导信号，从整体图像到对象框甚至分割掩模。我们的实验表明，我们的方法在单标签和多标签图像数据集上总是优于无指导的扩散模型，甚至可能超过基于基础真实标签的指导，特别是在不平衡数据上。

    Oct, 2022

  • 使用扩散模型进行受控训练数据生成

    这项研究提出了一种利用反馈机制来控制文本到图像生成模型，以生成对监督学习特别有用的训练数据的方法，并且通过引入指导目标分布的反馈机制，演示了该方法在不同任务、数据集和架构上相对于开环方法的有效性。

    Mar, 2024

  • 运动引导：基于可微运动估计的扩散图像编辑

    通过使用导向梯度的扩散模型生成图像，我们提出了一种零样本技术 —— 运动导向，它允许用户指定复杂的运动场并精确编辑图像中对象的布局、位置、姿态和形状。通过同时从扩散模型中采样和引导样本以实现低导向损失，我们可以获得经过运动编辑的高质量图像。

    Jan, 2024

  • DreamWalk: 使用扩散引导的风格空间探索

    通过分解文本提示为概念元素，并在单个扩散过程中应用单独的指导项，我们可以提供对风格和内容的细粒度控制，同时不需要微调扩散模型的内部层或操纵其神经网络。

    Apr, 2024