CVPRApr, 2024

InitNO：通过初始噪声优化来提升文本到图像扩散模型

PDF
TL;DR本研究旨在解决生成图像与提供的提示之间的无缝对齐问题，通过引入 “初始噪声优化”（InitNO）方法，通过评估初始噪声，并通过噪声优化来生成符合文本提示的图像。
diffusion modelsstable diffusioninitial noise optimizationtext promptsimage generation
发现论文，激发创造
  • 扩散模型中引导图像合成的语义驱动初始图像构建

    使用预先收集的、具有语义信息的像素块，通过多个初始噪声进行初始图像构建，以增强对图像生成的控制。实验结果显示了初始图像构建在引导生成图像内容方面的适应性，并在无需训练的布局到图像合成任务中取得了最先进的性能。

    Dec, 2023

  • 针对可控图像生成的空间感知潜变量初始化

    通过利用空间感知的初始化噪声，我们提出了一种自定义空间感知初始化噪声的开放词汇框架，以有效提高布局引导的效果。

    Jan, 2024

  • 优化噪声追求以增强文本到视频生成

    通过使用基于扩散模型建立的噪声 - 视频映射，由搜索 - 反转流程逼近文本输入的最佳噪声，同时通过一个语义保持改写器来丰富文本提示，实现文本到视频模型的有效优化。

    Nov, 2023

  • TiNO-Edit: 时间步长和噪声优化用于稳健扩散式图像编辑

    通过对噪音模式和扩散时间步进行优化，本文提出了基于 SD 的 TiNO-Edit 方法，其能够生成与原始图像更加吻合且符合预期结果的编辑结果，同时在 SD 的潜在域中提出了一组新的损失函数来加速优化过程。

    Apr, 2024

  • ReNO: 基于奖励的噪声优化提升一步完成的文本到图像模型

    基于奖励的噪音优化 (ReNO) 是一种新颖方法，通过基于来自一个或多个人类偏好奖励模型的信号优化初始噪音，以提高文本到图像 (T2I) 模型推理过程中的性能表现。在计算资源相同的情况下，ReNO 优化的单步模型表现出超越目前所有开源文本到图像模型的性能，同时也凸显了 ReNO 在提高 T2I 模型推理性能中的效率和有效性。

    Jun, 2024

  • FreeInit: 视频扩散模型初始化缺口的桥梁

    通过深入研究视频扩散模型的噪声初始化，我们发现了一种训练与推理之间的隐式差距，为此我们提出了一种名为 FreeInit 的简洁而有效的推理采样策略，显著提高了扩散模型生成的视频的时间一致性。

    Dec, 2023

  • 扩散模型中与模型无关的人类偏好反转

    提出一种新的采样设计方法，通过优化噪音分布以满足人类偏好，而不需要微调扩散模型，从而实现高质量的一步图像生成；实验证明，定制的噪音分布显著提高图像质量，并在计算成本仅略微增加的情况下取得了重要的突破，同时凸显了噪音优化的重要性，为高效和高质量的文本到图像合成铺平了道路。

    Apr, 2024

  • 扩散模型中通过初始图像编辑实现引导图像合成

    通过稳定的扩散实验，我们发现初始图像中的像素块倾向于生成特定的内容，我们通过修改它们可以显著影响生成的图像，这种影响只影响特定的区域，而不影响其他区域，这对于重绘任务非常有用。我们发现像素块的生成偏好主要由其值而不是位置决定，通过将具有生成用户所需内容倾向的像素块移动到用户指定的区域，我们的方法在布局到图像生成方面实现了最先进的性能，我们的结果凸显了初始图像操作在控制生成图像方面的灵活性和能力。

    May, 2023

  • 无调谐扩散模型的直接噪声优化对齐

    本论文主要关注扩散模型与连续奖励函数的对齐问题，提出了一种名为直接噪声优化（DNO）的新型对齐方法，通过在线生成过程中优化注入的噪声来调整扩散模型所学习的分布，以使生成的样本最大化目标奖励函数。实验结果表明，DNO 方法在人类反馈数据上训练的多个受欢迎奖励函数中取得了最先进的奖励分数和高质量的图像生成，且在合理的时间预算内完成。

    May, 2024

  • FreeNoise：无需调整的长视频扩散通过噪音重新调度

    利用大规模视频数据集和扩散模型的进展，本研究通过引入多个文本条件，拓展了文本驱动视频生成模型的生成能力，解决了现有模型在生成高保真长视频和针对多文本条件的支持方面的局限性。

    Oct, 2023