通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏
通过分析分数蒸馏抽样(SDS)及其变体,我们发现其蒸馏抽样过程实际上对应于随机微分方程(SDE)的轨迹抽样,这启发我们提出了一种新颖有效的 “Consistent3D” 方法,该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明,Consistent3D 在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。
Jan, 2024
通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例,我们提出了一种新的计算效率基准模型,以解决生成模型中的艺术问题,包括 3D 模型准确性和文本提示之间的错位问题,并在所提出的评估指标上达到了最先进的性能。
Feb, 2024
通过对 Score Distillation Sampling(SDS)进行解释,我们揭示了其作为三个功能组成部分 —— 模式分离、模式寻找和方差降低的组合,并分析了每个组成部分的特性。在此基础上,我们提出了一种名为稳定评分蒸馏(SSD)的简单而有效的方法,有效地协调每个组成部分,实现高质量的 3D 内容生成。大量实验证实了我们方法的有效性,即使在最具挑战性的 NeRF 表示下,也能生成高保真度的 3D 内容而不会出现过度平滑和过度饱和等问题。
Dec, 2023
通过修改 DDIM,我们的方法在 3D 生成中消除了过度平滑,保留了高频细节,并使生成质量接近于 2D 采样器,从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量,而无需训练额外的神经网络或多视图监督,并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。
May, 2024
在文本到 3D 生成领域,通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题,本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用,在这些局限上,我们提出了 StableDreamer,它包含了三个新进展,通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。
Dec, 2023
3D 生成在过去十年中迅速发展,得益于生成建模领域的进步。得分蒸馏采样(SDS)渲染大大提高了 3D 资源生成的水平。此外,最近的溯源扩散策略优化(DDPO)工作表明扩散过程与策略梯度方法兼容,并已通过美学评分函数改进了 2D 扩散模型。我们首先展示了这个美学评分器在各种基于 SDS 的方法中作为强有力的指导,并展示了它在文本到 3D 合成中的有效性。此外,我们利用 DDPO 方法改进了从 2D 扩散模型获得的 3D 渲染质量。我们的方法 DDPO3D 采用了策略梯度方法和美学评分。据我们所知,这是第一种将策略梯度方法扩展到基于得分的 3D 渲染的方法,并显示了对 SDS-based 方法(如 DreamGaussian)的改进。我们的方法与基于得分蒸馏的方法兼容,可以将各种奖励函数融入生成过程中。您可以通过此网址访问我们的项目页面 https URL。
Dec, 2023
通过 DDIM 生成过程的类似 SDS 损失的表达方式,本论文发现 SDS 可以看作是一种广义的 DDIM 生成过程,结合创新的噪声抽样方法和流分数蒸馏(FSD)方法,实验证明 FSD 方法显著增强了生成的多样性而不损害质量。
May, 2024
通过对分类器无关指导在分数蒸馏中的作用进行重新评估,我们发现了一个令人惊讶的发现:仅仅用指导就足够进行有效的文本到 3D 生成任务。我们称之为分类器分数蒸馏(CSD)方法,它可以理解为使用隐式分类模型进行生成。这种新视角揭示了对现有技术的新见解。我们在形状生成、纹理合成和形状编辑等各种文本到 3D 任务中验证了 CSD 的有效性,取得了优于现有方法的结果。
Oct, 2023
Score Distillation Sampling 方法使用图像扩散模型解决优化问题,我们分析了其损失函数并提出有效修复方案,通过定量和定性实验验证了新的损失公式的多样性和有效性。
Jan, 2024
通过检索辅助的方法,RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题,并实现了几何一致性和生成场景的忠实度的显著改进。
Feb, 2024