Oct, 2023

简化多模态生成：当扩散模型与 LLMs 相遇

PDF
TL;DREasyGen 是一个高效的模型，通过结合扩散模型和大型语言模型（LLMs）的能力，来提高多模态理解和生成。与现有的多模态模型不同，EasyGen 建立在一种名为 BiDiffuser 的双向条件扩散模型的基础上，推动了模态之间更有效的交互。EasyGen 通过整合 BiDiffuser 和 LLM，通过一个简单的投影层处理图像到文本的生成。与大多数现有的多模态模型仅限于生成文本响应不同，EasyGen 还可以利用 LLM 生成文本描述来生成适当的视觉响应。大量的定量和定性实验证明了 EasyGen 的有效性，其在实验室环境中易于实现的训练。源代码可以在此 https URL 中获得。
发现论文，激发创造
  • DiffBlender: 可扩展和可组合的多模态文本到图像扩散模型

    通过设计一种多模态文本到图像扩散模型（DiffBlender），可以同时引入多种不同类型的细节表达方式，如草图、盒子和风格嵌入等，不需要更改现有模型的参数，从而在单个模型中实现条件生成，并且通过量化和定性比较，将多模态生成的标准提高到了新的水平。

    May, 2023

  • 使用 LLMs 和潜在扩散模型进行互动式时尚内容生成

    该研究提出了使用基于能量的模型（EBMs）的扩散模型的等价性，建议组成多个概率分布的方法，并提出了一个通过 LLM 引导文本生成图像生成新时尚装配和虚拟试穿的流程，其结果表明使用 LLM 生成具有全球创意和文化多样性的时尚风格并减少偏见。

    May, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • LLM-grounded Diffusion: 借助大型语言模型增强文本到图像扩散模型中的提示理解

    该论文介绍了一种使用预训练大型语言模型对扩散模型进行增强推理能力的方法，包括两个阶段：第一阶段使用大型语言模型生成场景布局；第二阶段使用一个新的控制器，来生成与布局条件相符的图像。实验结果表明，该方法能更准确地生成需要语言和空间推理的图像。

    May, 2023

  • DiffusionGPT: 基于 LLM 的文本到图像生成系统

    DiffusionGPT 结合了扩散模型、文本到图像系统和领域特定树，提供了一个统一的生成系统，能够适应各种类型的提示并集成领域专家模型，推动了多领域图像合成的边界。

    Jan, 2024

  • ClickDiffusion：利用 LLMs 进行交互精确图像编辑

    提出了一种名为 ClickDiffusion 的系统，结合自然语言指令和用户通过直接操作界面提供的可视化反馈，将图像和多模态指令序列化为文本表示形式，以实现图像的精确变换和生成。

    Apr, 2024

  • MultiFusion：预训练模型融合用于多语言，多模态图像生成

    本文提出了一种名为 MultiFusion 的方法，利用预训练模型将多个语言和多模态输入整合到单一的图像生成模块中，从而大幅提高了效率。实验证明，MultiFusion 可以将各个独立的组件整合起来，使图像生成模块能够利用来自各种语言和模态的输入。

    May, 2023

  • 多模态人脸生成与编辑的协同扩散

    本文提出了一种名为 Collaborative Diffusion 的模型，在不需要重新训练的情况下，利用多种单一模态扩展固有的单一模态扩散模型以实现多模态人脸生成和编辑。

    Apr, 2023

  • DiffDis：将生成式扩散模型赋能跨模态辨别能力

    在这篇论文中，我们提出了 DiffDis，通过扩展扩散过程，将跨模态生成和辨别预训练统一到一个框架中。DiffDis 通过融合噪声文本嵌入和来自不同尺度的潜在图像的知识，提出了一种新颖的双流网络架构，来解决图像 - 文本辨别任务。通过基于扩散的统一训练，DiffDis 在一种体系结构中实现了更好的生成能力和跨模态语义对齐。实验结果表明，DiffDis 在图像生成和图像 - 文本辨别任务上优于单一任务模型，例如在 12 个数据集上的零样本分类的平均准确性提高了 1.65％，在零样本图像合成的 FID 上提高了 2.42 个点。

    Aug, 2023

  • 去扩散使文本成为强大的跨模态接口

    我们展示了一种以文本作为强大的跨模态接口的方法，通过将图像表示为文本，利用自然语言的可解释性和灵活性，我们使用一个自动编码器，将输入图像转换为文本，并通过固定的文本到图像扩散解码器进行重构，该过程称为 De-Diffusion。实验证实了 De-Diffusion 文本表示图像的精确性和综合性，使其可以轻松地被一般的文本到图像工具和 LLMs 接收，并可用于多样化的多模态任务。

    Nov, 2023