介绍了一种信息丰富的扩散模型，名为 ParaDiffusion，用于段落到图像生成任务，通过利用大型语言模型来提升图像生成模型的语义理解能力，并在长文本语义对齐训练方面取得了优异结果。

Nov, 2023

个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。

Mar, 2024

该研究提出 Perfusion 方法，通过动态的 rank-1 更新 T2I 模型，引入新机制将新概念的交叉注意力键锁定到超级类别中，使其能够平衡视觉保真度和文本对齐度，并超越传统方法的表现，实现个性化的对象交互。

May, 2023

通过并行化自回归过程，我们提出了一种用于加速扩散模型采样的新方法，称之为 ParaTAA。在实验证明 ParaTAA 可以将 DDIM 和 DDPM 等常见顺序采样算法的推理步骤减少 4~14 倍，并且可以在仅 7 个推理步骤中，以与顺序采样完全相同的方式生成图像。

Feb, 2024

DiffuseKronA 是一种基于 Kronecker 乘积的适应模块，通过显著减少参数数量（与 LoRA-DreamBooth 相比减少 35％，与原始 DreamBooth 相比减少 99.947％）和提高图像合成质量，解决了文本到图像生成模型中遇到的参数效率和超参数敏感性的问题，从而在 T2I 生成建模领域取得了重大进展。

Feb, 2024

高频率促进适应（HiPA）是一种参数高效的方法，通过训练一步、低秩适配器来增强先进扩散模型中高频率能力的不足，使其能够在单一步骤中生成高质量图像。与渐进蒸馏相比，HiPA 在一步文本到图像生成中具有更好的性能（FID-5k 在 MS-COCO 2017 上从 37.3 降至 23.8），并具有 28.6 倍的训练加速（108.8 到 3.8 A100 GPU 天），仅需要 0.04％的训练参数（77.4 亿降至 330 万）。

Nov, 2023

通过使用软提示，我们的研究致力于在更抽象概念或类别的层面上个性化文本到图像扩散模型，使得可以从一组参考图像中借鉴共性，并创造具有足够变化的新实例。我们的解决方案允许预训练的文本到图像扩散模型学习一组软提示，从而使用从学习的分布中采样的提示生成新的图像。这些提示提供了文本引导的编辑能力，并在控制变化和多个分布之间的混合中增加了灵活性。我们还展示了所学提示分布对其他任务的适应性，比如文本到 3D 的转换，并通过自动评估和人工评估的定量分析证明了我们方法的有效性。

Dec, 2023

提出一种新的采样设计方法，通过优化噪音分布以满足人类偏好，而不需要微调扩散模型，从而实现高质量的一步图像生成；实验证明，定制的噪音分布显著提高图像质量，并在计算成本仅略微增加的情况下取得了重要的突破，同时凸显了噪音优化的重要性，为高效和高质量的文本到图像合成铺平了道路。

Apr, 2024

通过最大化与参考图像的一致性并惩罚与预训练模型的偏差，我们提出了一种通过最小程度微调预训练模型以实现一致性的 T2I 扩散模型的新型训练目标，称为 “直接一致性优化”。我们的方法不仅简单而且显著提高了个性化 T2I 模型的组合能力，并引入了一种控制图像保真度和提示保真度权衡的抽样方法。最后，我们强调必须使用详尽的标题作为参考图像，以进一步增强图像和文本的对齐。我们证明了所提方法在 T2I 主题、风格或两者个性化方面的有效性。生成的示例和代码可在我们的项目页面（this https URL）中找到。

Feb, 2024

我们引入了一种语义面板作为中介来解码文本到图像的过程，用于支持生成器更好地遵循指示。这种面板是通过将从输入文本解析的视觉概念经由大型语言模型的辅助排列而成，然后注入到去噪网络作为详细的控制信号来补充文本条件。通过这样的设计，我们的方法 Ranni 在提高预训练的 T2I 生成器的文本可控性方面取得了进展，并引入了生成性中介，提供了一种更方便的交互形式，并允许用户根据其进行精细的生成定制，基于此我们开发了一个实用系统，并展示了其在连续生成和基于聊天的编辑中的潜力。

Nov, 2023