Apr, 2024

无分类器引导权重调度器的分析

PDF
TL;DR通过进行综合实验，本文提供了对 CFG 权重调度器的认识，发现简单的单调递增权重调度器能够持续改善性能，仅需一行代码即可实现；此外，更复杂的参数化调度器可以被优化以进一步提高性能，但不能在不同模型和任务之间推广。
classifier-free guidancetext-to-image diffusion modelsweight schedulersperformance improvementparametrized schedulers
发现论文，激发创造
  • 不使用分类器的引导方式，保持话题一致性

    通过对多项任务的优化，本文展示了分类器自由引导（CFG）可以作为一种单纯的语言模型推理技术，以优于当前最佳模型的表现在 LAMBADA 任务上取得了 SOTA 成果，并可改善语言助手任务的准确性和连贯性。

    Jun, 2023

  • 重新思考无分类器扩散引导中的空间不一致性

    本研究提出了一种新方法 Semantic-aware Classifier-Free Guidance (S-CFG)，用于定制不同语义单元在文本到图像扩散模型中的引导程度。研究表明，在各种文本到图像扩散模型上，S-CFG 相较于原 CFG 策略具有明显优势，且不需要额外的训练成本。

    Apr, 2024

  • 自适应引导：无需训练的条件扩散模型加速

    该研究综合考察了无分类器引导在文本条件扩散模型中的作用，从推理效率的角度进行了详细研究，并提出了自适应引导（AG）的有效变体，以在保持图像质量的同时减少计算量。研究发现，通过简单的仿射变换可以替代整个神经函数评估，以实现更廉价的推理，从而为文本条件扩散模型的实际应用和快速部署提供了宝贵的洞见。

    Dec, 2023

  • 无训练，无问题：重新思考扩散模型的无分类器引导

    在本文中，我们提出了独立条件引导（ICG）和时间步引导（TSG）这两种新的引导方法来简化条件扩散模型的训练过程，并且在任何已训练的条件模型上进行推理以提供与标准分类器无关的指导方法。通过大量实验证明，ICG 与标准分类器在不同条件扩散模型上的性能相匹配，并且 TSG 可以在不依赖任何条件信息的情况下改善生成的质量。

    Jul, 2024

  • CFG++：约束流形的无监督扩散模型分类器引导

    通过将文本引导问题重新定义为一个逆问题，并使用基于扩散模型的逆问题求解器，本文提出了一种名为 CFG++ 的新方法来解决传统 CFG 中存在的问题，包括改善文本到图像生成的样本质量、可逆性、减少模式崩溃等方面的显著改进，同时在所有规模上始终优于传统 CFG。实验证实了我们的方法在文本到图像生成、DDIM 反演、编辑和求解逆问题方面显著提高了性能，表明其在利用文本引导的各个领域中具有广泛的影响和潜在应用。

    Jun, 2024

  • 非分类器扩散引导

    本研究提出了一种不需要分类器的纯生成模型的分类器自由引导方法，该方法可以在条件扩散模型的训练过程中平衡模式覆盖率和样本保真度。

    Jul, 2022

  • 大规模扩散先验下的概念中心个性化

    通过将广阔规模扩散模型与概念中心的个性化相结合，提出了一种新的任务 —— 定制大规模扩散先验。采用通用无分类器引导（GCFG）的方法实现了条件引导的分离，从而解决了指导预测灾难性遗忘的问题，并开发了面向此任务的引导解耦个性化框架。文中还提出了一种无文本的概念中心扩散模型，用于学习概念引导。

    Dec, 2023

  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • Dreamguider：改进的无需训练扩散式条件生成

    Dreamguider 是一个无需通过扩散网络进行计算密集型反向传播的推理时引导方法，通过调节渐变流量和引入经验引导尺度来解决了线性和非线性引导问题，并提出了有效的轻量级增强策略。

    Jun, 2024

  • 基于分数的条件生成：自校准分类器引导下使用较少标记数据

    通过将分类器作为 SGM，并利用少量标记数据，提供条件生成。

    Jul, 2023