SteinDreamer：通过 Stein 标识进行文本至 3D 分数提炼的方差减少

Dec, 2023

SteinDreamer：通过 Stein 标识进行文本至 3D 分数提炼的方差减少

SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity

Peihao Wang, Zhiwen Fan, Dejia Xu, Dilin Wang, Sreyas Mohan...

TL;DR通过方差约减的视角，本文揭示了分数蒸馏中的梯度估计与高方差之间的内在关系，并提出使用 Stein's identity 进行变量约减的方法，称为 Stein Score Distillation (SSD)。通过构建由 Stein identity 构造的控制变量，SSD 可以灵活地引入指导先验和网络结构以明确优化方差约减，实验结果表明 SSD 可以有效地减少蒸馏方差，提高生成视觉质量。同时，我们证明了由于更稳定的梯度更新，SteinDreamer 相比现有方法更快地收敛。

Abstract

score distillation has emerged as one of the most prevalent approaches for text-to-3D asset synthesis. Essentially, score distillation updates 3D parameters by lifting and back-propagating scores averaged over di

score distillation variance reduction stein score distillation control variates steindreamer

发现论文，激发创造

ProlificDreamer: 高保真度和多样性的文本生成 3D 影像技术，基于变分分数精炼

本文提出了一种新的面向文本到三维立体生成的方法，即基于随机变量的粒子变分打分抽样，通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题，并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。

May, 2023

一致视觉合成的协作分数蒸馏

在多样化的视觉模态中，利用大规模文本生成模型进行生成和编辑应用时，跨多图像实现一致性是具有挑战性的，本文提出了一种基于 CSD 的新方法，该方法利用 SVGD 将多个样本视为 “粒子” 进行更新，并组合它们的评分函数以同步地蒸馏一组图像的生成先验，从而促进了 2D 图像信息的无缝集成，展示了 CSD 方法在全景图像、视频和 3D 场景等任务中的有效性，具有提高交叉样本一致性的实用性。

Jul, 2023

高质量三维生成的稳定分数蒸馏

通过对 Score Distillation Sampling（SDS）进行解释，我们揭示了其作为三个功能组成部分 —— 模式分离、模式寻找和方差降低的组合，并分析了每个组成部分的特性。在此基础上，我们提出了一种名为稳定评分蒸馏（SSD）的简单而有效的方法，有效地协调每个组成部分，实现高质量的 3D 内容生成。大量实验证实了我们方法的有效性，即使在最具挑战性的 NeRF 表示下，也能生成高保真度的 3D 内容而不会出现过度平滑和过度饱和等问题。

Dec, 2023

通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏

通过引入 GSD 框架，将三维一致性和几何意识融入 SDS 过程，该方法显著提高了性能，在文本到三维生成任务中成功解决了几何不一致性问题，并与现有的基于分值蒸馏的模型兼容。

Jun, 2024

ScaleDreamer: 异步分数蒸馏的可扩展文本到 3D 合成

通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型，我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合，尤其在大型文本数据集下表现出卓越的一致性。

Jul, 2024

稳定梦想者：驯服嘈杂的分数蒸馏采样用于文本到三维

在文本到 3D 生成领域，通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题，本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用，在这些局限上，我们提出了 StableDreamer，它包含了三个新进展，通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。

Dec, 2023

得分蒸馏采样与学习的流形校正

Score Distillation Sampling 方法使用图像扩散模型解决优化问题，我们分析了其损失函数并提出有效修复方案，通过定量和定性实验验证了新的损失公式的多样性和有效性。

Jan, 2024

多样化文本到 3D 生成的流动得分蒸馏

通过 DDIM 生成过程的类似 SDS 损失的表达方式，本论文发现 SDS 可以看作是一种广义的 DDIM 生成过程，结合创新的噪声抽样方法和流分数蒸馏（FSD）方法，实验证明 FSD 方法显著增强了生成的多样性而不损害质量。

May, 2024

使用分类器分数蒸馏的文本到 3D 转换

通过对分类器无关指导在分数蒸馏中的作用进行重新评估，我们发现了一个令人惊讶的发现：仅仅用指导就足够进行有效的文本到 3D 生成任务。我们称之为分类器分数蒸馏（CSD）方法，它可以理解为使用隐式分类模型进行生成。这种新视角揭示了对现有技术的新见解。我们在形状生成、纹理合成和形状编辑等各种文本到 3D 任务中验证了 CSD 的有效性，取得了优于现有方法的结果。

Oct, 2023

一种基于得分蒸馏采样的文本到 3D 的定量评估

通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

Feb, 2024