初值向量的人工变换揭示了基于隐变量的扩散模型的脆弱性

Nov, 2023

初值向量的人工变换揭示了基于隐变量的扩散模型的脆弱性

Synthetic Shifts to Initial Seed Vector Exposes the Brittle Nature of Latent-Based Diffusion Models

Mao Po-Yuan, Shashank Kotyan, Tham Yik Foong, Danilo Vasconcellos Vargas

TL;DR初期种子向量对生成样本有重要影响，在条件扩散模型中，选择和影响初期种子向量的研究具有重要意义。

Abstract

Recent advances in conditional diffusion models have led to substantial capabilities in various domains. However, understanding the impact of variations in the initial seed vector remains an underexplored area of

conditional diffusion models initial seed vector latent-based diffusion models reliability evaluation framework generated samples

发现论文，激发创造

扩散模型中通过初始图像编辑实现引导图像合成

通过稳定的扩散实验，我们发现初始图像中的像素块倾向于生成特定的内容，我们通过修改它们可以显著影响生成的图像，这种影响只影响特定的区域，而不影响其他区域，这对于重绘任务非常有用。我们发现像素块的生成偏好主要由其值而不是位置决定，通过将具有生成用户所需内容倾向的像素块移动到用户指定的区域，我们的方法在布局到图像生成方面实现了最先进的性能，我们的结果凸显了初始图像操作在控制生成图像方面的灵活性和能力。

May, 2023

发生在生成性扩散模型中的自发对称性破缺

本文探讨了生成扩散模型的动力学性质，发现其决定性的相变点将其生成过程分为两个不同的阶段，对此我们提出了一种高斯后初始化方案，可显著提高模型性能，增加样本多样性并减少偏差，实验表明在快速采样上可实现 3 倍的 FID 改进。

May, 2023

自我发现可解释的扩散潜在方向用于负责任的文本到图像生成

通过自监督方法找到可解释的潜在方向，提出了一种简单的方法来缓解不合适的图像生成。进行了广泛实验证明了缓解方法的有效性，特别是对于公平生成、安全生成和负责任的文本增强生成。

Nov, 2023

扩散模型中引导图像合成的语义驱动初始图像构建

使用预先收集的、具有语义信息的像素块，通过多个初始噪声进行初始图像构建，以增强对图像生成的控制。实验结果显示了初始图像构建在引导生成图像内容方面的适应性，并在无需训练的布局到图像合成任务中取得了最先进的性能。

Dec, 2023

优秀的种子造就丰收：在文本 - 图像扩散模型中发现秘密种子

我们对随机种子在扩散推断期间的影响进行了大规模的科学研究，并发现种子对生成的图像具有显著影响。我们进一步研究了种子对可解释的视觉维度的影响，并展示了通过使用这些优质的种子进行改进的图像生成，例如高保真推断和多样化采样。本研究突出了选择良好的种子的重要性，并为图像生成提供了实际效用。

May, 2024

基于范数引导的文本到图像生成潜空间探索

本文提出一种新的插值方法和质心评估技术，定义了一种新的非欧几里得度量，基于范数先验来插值 Seed。实验表明，这种新的技术显著提高了图像生成的稀有概念和少量数据学习性能。

Jun, 2023

从何处开始：带种子选择的文本图像生成

研究了长尾训练数据对于文本到图像模型的影响，并提出了 SeedSelect 技术，通过在噪声空间中选择适当的初始种子，可以有效地生成罕见的图像概念，提高了模型效果，特别是在手部图像生成方面的表现得到了明显改善。

Apr, 2023

安全隐变扩散：缓解扩散模型中的不当降解

为了解决当前依赖互联网数据随机抓取并导致人类行为退化和偏见的文本导向图像生成方法在生成图像时存在的问题，我们提出了一种名为安全潜在扩散（SLD）的图像噪声过滤方法，从而通过包含不恰当的图像提示的实际图像 - 文本提示解决了这些问题。经过详尽的实证评估表明，SLD 能够在扩散过程中去除不恰当的图像部分，不需要额外的培训，并且对图像质量或文本对齐没有负面影响。

Nov, 2022

使用扩散图进行稳定的生成建模

我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

Jan, 2024

时间序列潜在扩散的后稳定性研究

我们分析了隐式扩散在时间序列应用中可能出现的后验坍塌问题，提出了依赖度量的概念，证明了扩散模型中的潜变量在这种情况下失去了对生成过程的控制，并对后验坍塌的原因进行了分析。基于这一分析，我们提出了一个新的框架，解决了这个问题并支持更具表达力的先验分布。我们在各种真实世界的时间序列数据集上进行实验证明，我们的新模型保持了稳定的后验分布，在时间序列生成方面优于基准模型。

May, 2024