Jun, 2024

利用变分评分保留身份的通用三维编辑

PDF
TL;DR利用扩散模型，提出了一种名为 Piva（保留身份的变分得分馏分）的新颖的基于优化的图像和三维模型编辑方法，旨在解决已有方法中存在的细节丢失和过饱和等问题，通过额外的得分馏分项保持了原有特征，成功地改变视觉属性、添加结构元素、转换形状，并在标准的 2D 和 3D 编辑基准上取得了竞争性结果。
pivaimage editing3d editingdiffusion modelsidentity preservation
发现论文，激发创造
  • ID-to-3D：通过分数蒸馏采样表达个体身份引导的 3D 头部

    我们提出了 ID-to-3D，这是一种方法，可以通过从一个随意拍摄的野外图像中生成具有解耦表情的身份和文本引导的 3D 人头。我们的方法基于组合性，并使用特定任务的 2D 扩散模型作为优化的先验知识。我们的结果实现了前所未有的一致性身份和高质量纹理和几何生成，可以用于游戏和远程呈现。

    May, 2024

  • SteinDreamer：通过 Stein 标识进行文本至 3D 分数提炼的方差减少

    通过方差约减的视角，本文揭示了分数蒸馏中的梯度估计与高方差之间的内在关系，并提出使用 Stein's identity 进行变量约减的方法，称为 Stein Score Distillation (SSD)。通过构建由 Stein identity 构造的控制变量，SSD 可以灵活地引入指导先验和网络结构以明确优化方差约减，实验结果表明 SSD 可以有效地减少蒸馏方差，提高生成视觉质量。同时，我们证明了由于更稳定的梯度更新，SteinDreamer 相比现有方法更快地收敛。

    Dec, 2023

  • 统一直接去噪方法用于方差保持和方差爆炸扩散模型

    通过在统一的 DDDM 框架中提出自适应 Pseudo-Huber 损失函数，我们证明了在 Variance Preserving 和 Variance Exploding 情况下，uDDDM 方法在一步生成和多步生成中均可达到与 CIFAR-10 最佳方法相当的 FID 得分，并在这两种情况下都取得了最先进的性能。

    May, 2024

  • ProlificDreamer: 高保真度和多样性的文本生成 3D 影像技术，基于变分分数精炼

    本文提出了一种新的面向文本到三维立体生成的方法，即基于随机变量的粒子变分打分抽样，通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题，并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。

    May, 2023

  • Plasticine3D：基于文本引导的非刚性三维编辑

    Plasticine3D 是一个通用的、高保真度的、逼真的、可控的非刚性编辑流程，它将编辑过程分为几何编辑和纹理编辑阶段，通过多视图嵌入 (MVE) 优化策略和嵌入融合 (EF) 来实现非刚性变形和可控的编辑。

    Dec, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • 文本引导下的对比去噪分数方法用于潜在扩散图像编辑

    通过结合对比学习和 DDS 框架，研究提出了一种名为 CDS 的简单易用的修改方法，用于保持原始图像的结构元素并实现零样本图像转换和 NeRF 编辑。

    Nov, 2023

  • 得分身份提炼：预先训练扩散模型的指数级快速提炼用于单步生成

    我们引入了 Score identity Distillation（SiD），一种创新的无数据方法，将预训练扩散模型的生成能力提炼到一个单步生成器中。通过将前向扩散过程重构为半隐式分布，利用三个与分数相关的身份，创造了一种创新的损失机制。这种机制通过使用自己合成的图像来训练生成器，在大大缩短的生成时间内消除了对真实数据或基于逆扩散的生成的需求，实现了快速的 Fréchet inception distance (FID) 减小。在四个基准数据集上评估后，SiD 算法在蒸馏过程中显示出高迭代效率，并超越了在生成质量方面与其竞争的蒸馏方法，无论它们是一步或几步，无数据还是依赖于训练数据。这一成就不仅重新定义了扩散蒸馏中效率和效果的基准，还在更广泛的扩散生成领域中也有着重要的意义。我们的 PyTorch 实现将在 GitHub 上公开获取。

    Apr, 2024

  • 基于分数先验引导的深度变分推断方法用于无监督的实际场景单图像去噪

    通过引入得到易用的最小 MSE 非独立同分布高斯去噪器和变分采样，我们提出了一种得分先验引导的深度变分推理方法 ScoreDVI，用于实际场景的去噪。同时，我们利用非独立同分布高斯混合模型和变分噪声后验建模来适应实际场景噪声，并实现多个图像先验和变分图像后验的逐像素融合。此外，我们还开发了一个噪声感知的先验分配策略，动态调整优化中图像先验的权重。我们的方法在实际场景的单图像去噪中表现优于其他方法，且与基于数据集的无监督方法具有相当的性能。

    Aug, 2023

  • 重新考虑分数蒸馏作为图像分布之间的桥梁

    通过最优成本传输路径的观点，我们提出了一种新的方法，通过校准源分布的文本条件，可以在许多领域中产生高质量的生成和翻译结果，并击败专用方法的性能。

    Jun, 2024