Jun, 2024

利用互信息在扩散模型中提供一致字符生成的 ORACLE

PDF
TL;DR通过介绍一种新的方法，本文研究了如何从单一的文本提示产生具有一致的视觉特征的角色表达，通过定量和定性分析，证明了该方法在生成具有一致视觉特征的角色方面优于现有方法，扩展了艺术和创作表达的可能性。
text-to-image diffusion modelsvisual creativitycharacter generationconsistent visual identitiescreative expression
发现论文，激发创造
  • 所选之人：文本到图像传播模型中的一致字符

    最新的文本到图像生成模型在提供视觉创造力方面有巨大潜力，但在一致性字符生成方面存在困难。本文介绍了一种完全自动化的解决方案，通过文本提示作为唯一输入，使用迭代的过程来生成一致性字符，并展示了其在多个实际应用中的实践。

    Nov, 2023

  • Continual Diffusion：使用 C-LoRA 实现文本到图像的持续个性化

    本研究提出了一种新的方法 C-LoRA，用于解决文本到图像连续定制中的遗忘问题，并取得了良好的效果，为各种应用开启了新的可能性。

    Apr, 2023

  • 图像生成的多 LoRA 组合

    通过解码为中心的视角，本研究提出了两种无需训练的方法：LoRA Switch 和 LoRA Composite，分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA，以更好地指导图像合成，从而提高了综合性能，在组合中增加 LoRA 的数量时尤为明显。

    Feb, 2024

  • Diff-Oracle：具有可控风格和内容的 Oracle 字符生成的扩散模型

    利用扩散模型生成足够可控的甲骨文字，通过样式编码器和内容编码器控制风格和内容信息，有效提高图像生成和识别准确性。

    Dec, 2023

  • LCM-LoRA：一种通用的稳定扩散加速模块

    通过将 LoRA 蒸馏应用于包括 SD-V1.5、SSD-1B 和 SDXL 的稳定扩散模型，扩展了潜在一致性模型 (LCMs) 的潜力，减少内存消耗，提高图像生成质量，并将通过 LCM 蒸馏得到的 LoRA 参数作为稳定扩散加速模块命名为 LCM-LoRA，该模块可以直接插入各种经过微调的稳定扩散模型或 LoRAs 中，从而成为多样的图像生成任务中可广泛应用的加速器。

    Nov, 2023

  • 大型语言模型作为一致的故事可视化器

    StoryGPT-V 使用潜在扩散和大语言模型的优点，生成具有一致且高质量角色的图像，通过解决指代消解和对上下文的理解来提高生成准确性和忠实度。模型在视觉故事可视化上表现优异，并具有较低的内存消耗。

    Dec, 2023

  • 信息丰富的扩散模型的段落到图像生成

    介绍了一种信息丰富的扩散模型，名为 ParaDiffusion，用于段落到图像生成任务，通过利用大型语言模型来提升图像生成模型的语义理解能力，并在长文本语义对齐训练方面取得了优异结果。

    Nov, 2023

  • 寻找咒语：通过提示工程实现精确的文本到图像扩散合成

    通过 prompt 学习，我们提出了一种学习扩散模型适当文本描述的框架，通过利用预训练扩散模型导出的质量指导和语义指导，我们的方法可以有效地学习提示，从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析，验证了所提方法的有效性。

    Jan, 2024

  • 分块 LoRA：再探文本到图像生成中的细粒度个性化和风格化

    个性化和风格化在文字到图像的任务中都是指导预训练扩散模型分析用户引入的新概念，并将其融入预期的风格。我们提出了基于块级低秩适应（LoRA）的精细调整方法，用于不同块的 SD 进行细粒度的调整，能够生成忠实于输入提示和目标身份且具有所需风格的图像。广泛实验证明了所提出方法的有效性。

    Mar, 2024

  • TheaterGen: 使用 LLM 进行一致多轮场景角色管理的图像生成

    TheaterGen 是一个无需训练的框架，通过将大型语言模型（LLMs）和文本到图像（T2I）模型集成，实现了多回合图像生成。该框架通过 LLMs 生成和管理一个标准化的提示书，从而提高合成图像的语义一致性和上下文一致性。通过将提示书和指导信息结合到 T2I 扩散模型的反降噪过程中，TheaterGen 生成最终的图像，从而大大提升了合成图像的质量。

    Apr, 2024