DreamCouple:通过纠正流探索高质量文本到3D生成
本文提出了一种使用基于文本转图像的扩散模型进行文本到3D合成的方法,该方法绕过了需要大规模标记的3D数据集和能够去噪的3D数据的限制,将2D的扩散模型作为先验,通过梯度下降优化3D模型(Neural Radiance Field),并使用概率密度蒸馏引入的损失函数将2D扩散模型与3D模型相结合。这种方法不需要3D训练数据,也不需要修改图像扩散模型,证明了使用预训练的图像扩散模型作为先验的有效性。
Sep, 2022
本文提出了一种新的面向文本到三维立体生成的方法,即基于随机变量的粒子变分打分抽样,通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题,并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。
May, 2023
通过DreamPropeller算法,我们提出了一种可以加速任何基于得分蒸馏的文本到3D生成流程的附加算法,可以以一定程度的计算并行化交换时间,从而取得了近4.7倍的速度提升,同时保持了生成质量的稳定性。
Nov, 2023
我们提出了一个统一框架,旨在增强三维生成任务的扩散先验。通过优化三维模型和扩散先验,我们的方法在性能和实施复杂性之间提供了多种配置,并在文本到三维生成领域取得了显著成果,成为新的技术先驱。
Dec, 2023
通过分析分数蒸馏抽样(SDS)及其变体,我们发现其蒸馏抽样过程实际上对应于随机微分方程(SDE)的轨迹抽样,这启发我们提出了一种新颖有效的“Consistent3D”方法,该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明,Consistent3D在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。
Jan, 2024
BoostDream是一个高效的插件式3D细化方法,能够将粗糙的3D资产转化为高质量的3D资产,通过引入3D模型蒸馏、新颖的多视角SDS损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于SDS方法相比,BoostDream在生成高质量的3D资产方面表现出色,克服了双面问题,从而实现了3D生成过程的效率和质量的重大进展。
Jan, 2024
通过定量评估指标、交叉验证人类评级以及分析SDS技术的失败案例,我们提出了一种新的计算效率基准模型,以解决生成模型中的艺术问题,包括3D模型准确性和文本提示之间的错位问题,并在所提出的评估指标上达到了最先进的性能。
Feb, 2024
通过利用预训练的T2I扩散模型,借助预定时间步长安排,将文本到3D优化提升为多视角图像到图像转换问题,我们提出了一种新的优化算法和实用的三阶段粗到精的文本到3D优化框架DreamFlow,实现快速生成高质量、高分辨率(1024x1024)的3D内容。
Mar, 2024
通过DDIM生成过程的类似SDS损失的表达方式,本论文发现SDS可以看作是一种广义的DDIM生成过程,结合创新的噪声抽样方法和流分数蒸馏(FSD)方法,实验证明FSD方法显著增强了生成的多样性而不损害质量。
May, 2024
通过修改DDIM,我们的方法在3D生成中消除了过度平滑,保留了高频细节,并使生成质量接近于2D采样器,从而取得了与其他先进的分数蒸馏方法相当或更好的3D生成质量,而无需训练额外的神经网络或多视图监督,并为扩散模型中2D和3D资源生成之间的关系提供有用的见解。
May, 2024