Jun, 2024

CFG++：约束流形的无监督扩散模型分类器引导

PDF
TL;DR通过将文本引导问题重新定义为一个逆问题，并使用基于扩散模型的逆问题求解器，本文提出了一种名为 CFG++ 的新方法来解决传统 CFG 中存在的问题，包括改善文本到图像生成的样本质量、可逆性、减少模式崩溃等方面的显著改进，同时在所有规模上始终优于传统 CFG。实验证实了我们的方法在文本到图像生成、DDIM 反演、编辑和求解逆问题方面显著提高了性能，表明其在利用文本引导的各个领域中具有广泛的影响和潜在应用。
classifier-free guidancediffusion modelstext-guided generationinverse problem solverstext-to-image generation
发现论文，激发创造
  • 重新思考无分类器扩散引导中的空间不一致性

    本研究提出了一种新方法 Semantic-aware Classifier-Free Guidance (S-CFG)，用于定制不同语义单元在文本到图像扩散模型中的引导程度。研究表明，在各种文本到图像扩散模型上，S-CFG 相较于原 CFG 策略具有明显优势，且不需要额外的训练成本。

    Apr, 2024

  • 自适应引导：无需训练的条件扩散模型加速

    该研究综合考察了无分类器引导在文本条件扩散模型中的作用，从推理效率的角度进行了详细研究，并提出了自适应引导（AG）的有效变体，以在保持图像质量的同时减少计算量。研究发现，通过简单的仿射变换可以替代整个神经函数评估，以实现更廉价的推理，从而为文本条件扩散模型的实际应用和快速部署提供了宝贵的洞见。

    Dec, 2023

  • 非分类器扩散引导

    本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

    Jul, 2022

  • 大规模扩散先验下的概念中心个性化

    通过将广阔规模扩散模型与概念中心的个性化相结合，提出了一种新的任务 —— 定制大规模扩散先验。采用通用无分类器引导（GCFG）的方法实现了条件引导的分离，从而解决了指导预测灾难性遗忘的问题，并开发了面向此任务的引导解耦个性化框架。文中还提出了一种无文本的概念中心扩散模型，用于学习概念引导。

    Dec, 2023

  • 不使用分类器的引导方式，保持话题一致性

    通过对多项任务的优化，本文展示了分类器自由引导（CFG）可以作为一种单纯的语言模型推理技术，以优于当前最佳模型的表现在 LAMBADA 任务上取得了 SOTA 成果，并可改善语言助手任务的准确性和连贯性。

    Jun, 2023

  • Dreamguider：改进的无需训练扩散式条件生成

    Dreamguider 是一个无需通过扩散网络进行计算密集型反向传播的推理时引导方法，通过调节渐变流量和引入经验引导尺度来解决了线性和非线性引导问题，并提出了有效的轻量级增强策略。

    Jun, 2024

  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • 流形保持引导扩散

    提出了 Manifold Preserving Guided Diffusion (MPGD)，实现了一种无需训练的条件生成框架，利用预训练扩散模型和现成的神经网络，具有最小的附加推断成本，适用于各种条件生成应用，提供了高样本品质和高达 3.8 倍的速度提升。

    Nov, 2023

  • 无分类器引导权重调度器的分析

    通过进行综合实验，本文提供了对 CFG 权重调度器的认识，发现简单的单调递增权重调度器能够持续改善性能，仅需一行代码即可实现；此外，更复杂的参数化调度器可以被优化以进一步提高性能，但不能在不同模型和任务之间推广。

    Apr, 2024

  • 利用流形约束改进逆问题的扩散模型

    通过研究生成采样路径，我们提出了一种附加流形约束修正项的算法，能够优化漫反射模型在无监督的逆问题求解中，尤其在图像修复、着色和计算机断层扫描等领域中表现优异。

    Jun, 2022