Dec, 2023

大规模扩散先验下的概念中心个性化

PDF
TL;DR通过将广阔规模扩散模型与概念中心的个性化相结合，提出了一种新的任务 —— 定制大规模扩散先验。采用通用无分类器引导（GCFG）的方法实现了条件引导的分离，从而解决了指导预测灾难性遗忘的问题，并开发了面向此任务的引导解耦个性化框架。文中还提出了一种无文本的概念中心扩散模型，用于学习概念引导。
large-scale diffusion modelsconcept-centric personalizationguidance-decoupled personalization frameworkgeneralized classifier-free guidance (gcfg)concept-centric diffusion model
发现论文，激发创造
  • 重新思考无分类器扩散引导中的空间不一致性

    本研究提出了一种新方法 Semantic-aware Classifier-Free Guidance (S-CFG)，用于定制不同语义单元在文本到图像扩散模型中的引导程度。研究表明，在各种文本到图像扩散模型上，S-CFG 相较于原 CFG 策略具有明显优势，且不需要额外的训练成本。

    Apr, 2024

  • 扩散模型中定制概念的非混淆生成

    通过文本引导的扩散模型解决了组合概念生成中的常见挑战 —— 概念之间的视觉混淆，并针对定制概念的生成提出了一种简单有效的解决方案 CLIF：对比图像 - 语言微调，实验证明其在防止多定制概念生成中的混淆方面非常有效。

    May, 2024

  • CFG++：约束流形的无监督扩散模型分类器引导

    通过将文本引导问题重新定义为一个逆问题，并使用基于扩散模型的逆问题求解器，本文提出了一种名为 CFG++ 的新方法来解决传统 CFG 中存在的问题，包括改善文本到图像生成的样本质量、可逆性、减少模式崩溃等方面的显著改进，同时在所有规模上始终优于传统 CFG。实验证实了我们的方法在文本到图像生成、DDIM 反演、编辑和求解逆问题方面显著提高了性能，表明其在利用文本引导的各个领域中具有广泛的影响和潜在应用。

    Jun, 2024

  • 分类器引导扩散生成的设计空间阐明

    通过使用现成的预训练分类器在无需额外计算成本的情况下，提出了预处理技术来引导扩散生成，旨在实现比现有方案更显著的性能改进，尤其是在图像生成任务中。

    Oct, 2023

  • ConceptLab：使用扩散先验约束的创造性生成

    这篇论文介绍了创造性文本到图像生成的任务，并使用未经研究的扩散先验模型来解决此问题，同时通过一个问题回答模型来逐渐发现越来越独特的创作，最后展示了先验约束不仅作为强大的混合机制，还能引入更多的灵活性。

    Aug, 2023

  • ClassDiffusion：使用明确的类别引导实现更加一致的个性化调优

    最近的文本到图像定制方法在少量示例的基础上通过调整扩散模型已被证明成功生成给定概念的图像。然而，这些方法往往对概念过拟合，在多种条件下（例如，“在生成戴耳机的狗时耳机丢失”）无法创建概念。我们注意到，在微调之前的基准模型表现出与其他元素（例如，“戴耳机的狗”）组合的能力，暗示了这种组合能力仅在个性化调整后消失。受此观察的启发，我们提出了 ClassDiffusion，这是一种利用语义保持损失在学习新概念时明确调控概念空间的简单技术。尽管其简单性，这有助于在目标概念上进行微调时避免语义漂移。广泛的定性和定量实验证明了使用语义保持损失有效地改善了微调模型的组合能力。针对 CLIP-T 指标的无效评估，我们提出了 BLIP2-T 指标，这是一种针对这个特定领域更公正和有效的评估指标。我们还对所提出的损失的角色进行了深入实证研究和理论分析。最后，我们还将 ClassDiffusion 扩展到个性化视频生成，展示了其灵活性。

    May, 2024

  • 自适应引导：无需训练的条件扩散模型加速

    该研究综合考察了无分类器引导在文本条件扩散模型中的作用，从推理效率的角度进行了详细研究，并提出了自适应引导（AG）的有效变体，以在保持图像质量的同时减少计算量。研究发现，通过简单的仿射变换可以替代整个神经函数评估，以实现更廉价的推理，从而为文本条件扩散模型的实际应用和快速部署提供了宝贵的洞见。

    Dec, 2023

  • 不使用分类器的引导方式，保持话题一致性

    通过对多项任务的优化，本文展示了分类器自由引导（CFG）可以作为一种单纯的语言模型推理技术，以优于当前最佳模型的表现在 LAMBADA 任务上取得了 SOTA 成果，并可改善语言助手任务的准确性和连贯性。

    Jun, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 无训练，无问题：重新思考扩散模型的无分类器引导

    在本文中，我们提出了独立条件引导（ICG）和时间步引导（TSG）这两种新的引导方法来简化条件扩散模型的训练过程，并且在任何已训练的条件模型上进行推理以提供与标准分类器无关的指导方法。通过大量实验证明，ICG 与标准分类器在不同条件扩散模型上的性能相匹配，并且 TSG 可以在不依赖任何条件信息的情况下改善生成的质量。

    Jul, 2024