Jun, 2024

解释定制扩散模型的权重空间

PDF
TL;DR通过创建超过 60,000 个基础模型，我们调查了一系列定制扩散模型的权重空间。这些模型是通过微调基本模型以插入不同人的视觉特征而创建的。我们将这些权重的潜在流形建模为一个子空间，我们称之为权重到权重。通过权重空间，我们展示了三个直接的应用 —— 抽样、编辑和反转。首先，由于空间中的每个点对应一个身份，从中抽取一组权重会得到一个编码新身份的模型。接下来，我们发现该空间中的线性方向对应于身份的语义编辑（例如，添加胡须）。这些编辑在生成的样本中保持外观一致。最后，我们证明将单个图像反转到该空间中会重构出一个逼真的身份，即使输入图像不符合分布（例如，一幅绘画）。我们的结果表明，经过微调的扩散模型的权重空间行为类似于可解释的身份潜空间。
weights2weightsdiffusion modelssamplingeditinginversion
发现论文，激发创造
  • 基于范数引导的文本到图像生成潜空间探索

    本文提出一种新的插值方法和质心评估技术，定义了一种新的非欧几里得度量，基于范数先验来插值 Seed。实验表明，这种新的技术显著提高了图像生成的稀有概念和少量数据学习性能。

    Jun, 2023

  • 平滑扩散：精心创造扩散模型中的平滑潜在空间

    最近，扩散模型在文本到图像 (T2I) 生成方面取得了显著进展，合成出高保真度和多样性内容的图像。然而，扩散模型内的潜在空间平滑性仍然很少被研究。我们通过观察到微小的潜在变化导致明显的视觉波动来揭示扩散潜在空间的非平滑性。为了解决这个问题，我们提出了 Smooth Diffusion，这是一种新类别的扩散模型，既高效又平滑。具体而言，我们引入了逐步变化规范化，以确保任意输入潜在的变化与输出图像的变化之间的比例在扩散训练的任何步骤中都是恒定的。此外，我们设计了插值标准差 (ISTD) 度量，以有效评估扩散模型的潜在空间平滑性。广泛的定量和定性实验表明，Smooth Diffusion 在 T2I 生成以及其他各种下游任务中都表现出更好的解决方案。Smooth Diffusion 作为一个即插即用的 Smooth-LoRA 与不同的社区模型配合使用。代码可在此 https 的 URL 获取。

    Dec, 2023

  • 透过黎曼几何解读扩散模型的潜空间

    通过拉回度量和几何角度的分析，本文首次提出了通过潜空间遍历实现图像编辑的方法，并对扩散模型的潜空间结构进行了深入研究。

    Jul, 2023

  • WildFusion：学习视角空间中的三维感知潜空扩散模型

    基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

    Nov, 2023

  • 潜在图推断的模型空间投影

    本文采用超球面和双曲线模型空间的立体投影以及黎曼流形积的方法进行潜在图推理，实现与非投影对应物相当的性能，同时提供理论保证，避免当曲率趋近于零时空间发散的问题，并在同构和异构图上进行了实验。

    Mar, 2023

  • 增强扩散模型的可控性

    该研究使用基于 GAN latent space 的技术和生成式扩散模型，通过条件输入的两个 latent codes（空间内容掩码和扁平化样式嵌入）对其生成进行控制，从而实现图像的有效操控和转化。

    Feb, 2023

  • 流形相关性确定

    本文提出了一种全贝叶斯潜在变量模型，利用条件非线性独立结构学习高效的潜在表示；该模型能够捕捉极高维空间下的结构，可用于建模大规模未加工的图像，并通过从训练模型中的潜在空间中采样直接生成新图像；同时也演示了该模型在人体姿势预测中的应用，贝叶斯框架能够以一种合理的方式进行消岐，以包含数据动态特性的潜在空间先验。

    Jun, 2012

  • 预训练扩散模型中不可监督地发现可解释的 h - 空间方向

    我们提出了第一个无监督的基于学习的方法，用于识别预训练扩散模型的可解释方向。通过联合优化移位控制模块和再构造器，模型可以自主发现解耦和可解释的方向。我们还提出了一种基于梯度检查点技术的通用 VRAM 高效训练算法来解决 GPU VRAM 存储问题。与现有的扩散模型相关工作相比，我们的方法具有全局化和可扩展性的优势，不需要任何复杂的额外步骤，并且广泛实验证明了我们方法的有效性。

    Oct, 2023

  • 基于双曲几何的潜在扩散模型用于图生成

    通过建立基于双曲几何的可解释度度量的几何潜变空间，使用径向和角度几何特性约束的几何潜变过程，HypDiff 框架能有效地捕捉和保留图的拓扑信息，并在各种拓扑结构的图生成中表现出卓越的效果。

    May, 2024

  • 图像嵌入用于去噪生成模型

    本文探讨了如何在 Denoising Diffusion Models 的 latent space 中嵌入图像，实现对噪声图像的去噪，并发现了该类生成模型中 latent representation 独立于反扩散过程网络实现的网络结构。

    Dec, 2022