用于组合文本到3D生成的语义评分蒸馏采样
本文提出了一种新的面向文本到三维立体生成的方法,即基于随机变量的粒子变分打分抽样,通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题,并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。
May, 2023
当前的文本生成3D方法在建模NeRF时使用了预训练扩散模型,能够生成高质量的3D场景。本文介绍了T^3Bench,第一个包含不同复杂级别的文本提示的全面的文本生成3D基准测试。我们提出了基于多视角图像和文本内容的两个自动度量标准来评估主观质量和文本与3D的一致性。基准测试结果显示了六种主流文本生成3D方法之间的性能差异,并凸显了当前方法在生成环境和多物体场景以及利用2D指导进行3D生成方面的共同困难。
Oct, 2023
通过引入熵项于3D分数蒸馏目标函数并采用无分类器指导技巧,本论文提出了一种名为'Entropic Score Distillation'的方法,有效解决了分数蒸馏中的Janus人工生成物问题。
Dec, 2023
通过分析分数蒸馏抽样(SDS)及其变体,我们发现其蒸馏抽样过程实际上对应于随机微分方程(SDE)的轨迹抽样,这启发我们提出了一种新颖有效的“Consistent3D”方法,该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明,Consistent3D在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。
Jan, 2024
通过定量评估指标、交叉验证人类评级以及分析SDS技术的失败案例,我们提出了一种新的计算效率基准模型,以解决生成模型中的艺术问题,包括3D模型准确性和文本提示之间的错位问题,并在所提出的评估指标上达到了最先进的性能。
Feb, 2024
本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法,通过使用预训练的多视角扩散模型,在准确遵循复杂的、构成性的文本提示的同时实现高保真度,生成能够准确遵循复杂、构成性文本提示的3D资产。
Apr, 2024
提出了一种基于姿态相关性蒸馏采样(PCDS)的扩散式三维生成任务的新目标,其通过最小采样步骤(1-3)建立了在扩散轨迹内的姿态相关性函数,以近似真实梯度,并通过粗到细的优化策略实现高质量的三维物体生成。
Jun, 2024
通过引入GSD框架,将三维一致性和几何意识融入SDS过程,该方法显著提高了性能,在文本到三维生成任务中成功解决了几何不一致性问题,并与现有的基于分值蒸馏的模型兼容。
Jun, 2024
提出了一种新的Score Distillation Sampling(SDS)范式,即Joint Score Distillation(JSD),可以确保一致的3D生成,并通过引入能量函数捕捉扩散模型中去噪图像的连贯性来推导多个呈现视图上的联合评分蒸馏。通过引入Geometry Fading方案和Classifier-Free Guidance Switching策略来增强生成细节,其在文本到3D生成中取得了杰出结果,达到88.5%的CLIP R-Precision和27.7%的CLIP Score,展现出卓越的文本一致性、出色的几何一致性和纹理保真度。
Jul, 2024