Nov, 2023

自校正的 LLM 控制扩散模型

PDF
TL;DR使用 Self-correcting LLM-controlled Diffusion (SLD) 框架，该研究提出了一种迭代闭环过程，能够根据输入的提示生成图像、评估其与提示的对齐性，并纠正生成图像中的不准确性，从而提高文本到图像生成的正确性。该研究还发现，通过调整 LLM 的指令，SLD 可以执行图像编辑任务，弥合文本到图像生成与图像编辑流程之间的差距。
发现论文，激发创造
  • LLM-grounded Diffusion: 借助大型语言模型增强文本到图像扩散模型中的提示理解

    该论文介绍了一种使用预训练大型语言模型对扩散模型进行增强推理能力的方法，包括两个阶段：第一阶段使用大型语言模型生成场景布局；第二阶段使用一个新的控制器，来生成与布局条件相符的图像。实验结果表明，该方法能更准确地生成需要语言和空间推理的图像。

    May, 2023

  • 安全隐变扩散：缓解扩散模型中的不当降解

    为了解决当前依赖互联网数据随机抓取并导致人类行为退化和偏见的文本导向图像生成方法在生成图像时存在的问题，我们提出了一种名为安全潜在扩散（SLD）的图像噪声过滤方法，从而通过包含不恰当的图像提示的实际图像 - 文本提示解决了这些问题。经过详尽的实证评估表明，SLD 能够在扩散过程中去除不恰当的图像部分，不需要额外的培训，并且对图像质量或文本对齐没有负面影响。

    Nov, 2022

  • SSD-LM: 基于 Simplex 扩散和半自回归的语言模型，用于文本生成和模块化控制

    本论文介绍了 SSD-LM - 一种扩散语言模型，它是半自回归的，可以迭代地生成文本块，在不适用 GPT-2 后，它在标准的质量和多样性指标上与 strong autoregressive 基线匹配或优于其性能

    Oct, 2022

  • 基于 LLM 的视频扩散模型

    在视频生成方面，本研究提出了一种基于文本的扩散模型，通过使用大型语言模型（LLM）生成的动态场景布局来引导视频生成过程，旨在解决现有模型在处理复杂时空提示时遇到的限制和错误运动的问题。实验证明该方法在生成具有所需特征和运动模式的视频方面显著优于基准模型和一些强基线方法。

    Sep, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 软化潜向下的渐进文本到图像扩散

    通过创新性的渐进综合和编辑操作，该论文引入了一种系统地将实体合并到目标图像中，并确保它们在每个顺序步骤中遵守空间和关系约束的方法。

    Sep, 2023

  • LLM 蓝图：通过复杂和详细的提示实现文本生成图像

    利用大型语言模型 (LLM) 从文本提示中提取关键组件，包括前景对象的边界框坐标、各个对象的详细文本描述和简洁的背景上下文。这些组件构成了布局到图像生成模型的基础，该模型通过两个阶段的操作实现，初步生成全局场景后，使用迭代细化方案对内容进行评估和修正，以确保与文本描述的一致性，从而在生成复杂的场景时展现出比传统扩散模型更好的召回率，经由用户研究进一步验证了我们的方法在从错综复杂的文本输入中生成连贯详细场景方面的功效。

    Oct, 2023

  • ClickDiffusion：利用 LLMs 进行交互精确图像编辑

    提出了一种名为 ClickDiffusion 的系统，结合自然语言指令和用户通过直接操作界面提供的可视化反馈，将图像和多模态指令序列化为文本表示形式，以实现图像的精确变换和生成。

    Apr, 2024

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • Diffusion-LM 提升可控文本生成能力

    本研究提出了一种基于连续扩散的非自回归语言模型 Diffusion-LM，在语言生成的过程中能够通过简单的基于梯度的算法实现复杂的可控生成任务，并成功地应用在六个难度较大的细粒度控制任务之中，表现出优秀的性能。

    May, 2022