稳定梦想者:驯服嘈杂的分数蒸馏采样用于文本到三维
本文提出了一种新的面向文本到三维立体生成的方法,即基于随机变量的粒子变分打分抽样,通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题,并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。
May, 2023
通过对 Score Distillation Sampling(SDS)进行解释,我们揭示了其作为三个功能组成部分 —— 模式分离、模式寻找和方差降低的组合,并分析了每个组成部分的特性。在此基础上,我们提出了一种名为稳定评分蒸馏(SSD)的简单而有效的方法,有效地协调每个组成部分,实现高质量的 3D 内容生成。大量实验证实了我们方法的有效性,即使在最具挑战性的 NeRF 表示下,也能生成高保真度的 3D 内容而不会出现过度平滑和过度饱和等问题。
Dec, 2023
通过引入 GSD 框架,将三维一致性和几何意识融入 SDS 过程,该方法显著提高了性能,在文本到三维生成任务中成功解决了几何不一致性问题,并与现有的基于分值蒸馏的模型兼容。
Jun, 2024
BoostDream 是一个高效的插件式 3D 细化方法,能够将粗糙的 3D 资产转化为高质量的 3D 资产,通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比,BoostDream 在生成高质量的 3D 资产方面表现出色,克服了双面问题,从而实现了 3D 生成过程的效率和质量的重大进展。
Jan, 2024
通过 DDIM 生成过程的类似 SDS 损失的表达方式,本论文发现 SDS 可以看作是一种广义的 DDIM 生成过程,结合创新的噪声抽样方法和流分数蒸馏(FSD)方法,实验证明 FSD 方法显著增强了生成的多样性而不损害质量。
May, 2024
通过修改 DDIM,我们的方法在 3D 生成中消除了过度平滑,保留了高频细节,并使生成质量接近于 2D 采样器,从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量,而无需训练额外的神经网络或多视图监督,并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。
May, 2024
通过分析分数蒸馏抽样(SDS)及其变体,我们发现其蒸馏抽样过程实际上对应于随机微分方程(SDE)的轨迹抽样,这启发我们提出了一种新颖有效的 “Consistent3D” 方法,该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明,Consistent3D 在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。
Jan, 2024
通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型,我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合,尤其在大型文本数据集下表现出卓越的一致性。
Jul, 2024
基于优化的方法如分数蒸馏采样 (SDS) 在零样本 3D 生成方面表现出潜力,但由于每个样本所需的高函数评估 (NFEs) 的数量较多,效率较低。本文介绍了一种名为基于分数的迭代重建(SIR)的高效通用算法,用于使用多视图基于分数扩散模型进行 3D 生成。SIR 通过反复优化 3D 参数来减少 NFEs,而不是 SDS 中的单次优化,模仿 3D 重建过程。通过在像素空间进行优化等改进,我们提出了一种称为 MicroDreamer 的高效方法,它通常适用于各种 3D 表示和 3D 生成任务。特别是在保持可比性能的同时,MicroDreamer 比 SDS 在生成神经辐射场方面快 5-20 倍,并且在单个 A100 GPU 上从 3D 高斯分裂生成网格大约需要 20 秒,这是最快的零样本基准 DreamGaussian 的一半时间。我们的代码可在此 https URL 获取。
Apr, 2024
Score Distillation Sampling 方法使用图像扩散模型解决优化问题,我们分析了其损失函数并提出有效修复方案,通过定量和定性实验验证了新的损失公式的多样性和有效性。
Jan, 2024