CVPRApr, 2023

利用隐变量分类器引导探索组合视觉生成

PDF
TL;DR利用扩散模型和分类器指导进行语义潜在空间的组合视觉任务，通过训练潜在扩散模型和辅助潜在分类器来促进任何预先训练的生成模型的潜在表示生成的非线性导航，实现条件生成，并介绍了一种新的指导术语，该术语对于实现组合性至关重要。
发现论文，激发创造
  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • 端到端扩散潜在优化改善分类器引导

    本文介绍了一种新型的导向方法：基于扩散梯度的直接扰动优化法 (DOODL)，通过优化扩散潜变量来实现导向，结果显示，相较于一步分类器导向，DOODL 在多种形式的导向中都具有更高的性能和效果。

    Mar, 2023

  • 用于数据高效文本分类的潜变量生成模型

    通过向生成式文本分类器引入离散潜变量，并探究几种图模型配置，我们提高了它的性能，尤其在小数据集下，同时分析了模型的可解释性。

    Oct, 2019

  • 可组合扩散模型下的组合视觉生成

    通过解释扩散模型为基于能量的模型，在训练和测试阶段中将一组扩散模型组合在一起，结构化生成，该方法可用于合成预训练的文本指导的扩散模型并生成生动逼真的图像，解决了 DALLE-2 在对象属性方面的困难。

    Jun, 2022

  • 非分类器扩散引导

    本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

    Jul, 2022

  • 通过连续变异因素控制生成模型

    本文提出了一种新的方法，通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性，从而精确地控制生成图像的特定属性，如位置或比例。该方法对于搜索编码生成图像的简单变换方向（如平移，缩放或颜色变化）特别适用，并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。

    Jan, 2020

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • GLIDE: 基于文本引导扩散模型的逼真图像生成和编辑

    本研究探讨了扩散模型在文本条件下生成图像的问题，并比较了不同的指导策略：CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性，后者更受人类评估人员的青睐，还可以进行图像修复。

    Dec, 2021

  • NoiseCLR：对扩散模型中可解释方向无监督发现的对比学习方法

    本论文提出了一种无监督的方法来发现基于文本到图像扩散模型的潜在语义，无需依赖文本提示，通过对比学习目标，在不同领域的图像中发现多样的语义，实现高度解耦的编辑。

    Dec, 2023

  • 使用引导扩散模型编辑真实图像的知觉相似性引导与文本引导优化

    使用扩散模型进行图像编辑时，我们采用了双向引导的方法来保持未改变区域与原图的高度保真度。首先，我们使用文本嵌入来指导潜空间，并使用无分类器的引导进行优化。其次，我们使用感知相似性引导，在反向过程中通过 Tweedie 公式进行后验采样来优化潜空间向量。此方法既可以保证对编辑元素进行逼真渲染，又可以保护原图未编辑部分的完整性。

    Dec, 2023