梦兽:通过部件感知知识转移蒸馏3D幻想动物
我们提出MVDream,这是一个多视图扩散模型,能够根据给定的文本提示生成几何一致的多视图图像。通过利用在大规模Web数据集上预训练的图像扩散模型和从3D资源渲染的多视图数据集,所得到的多视图扩散模型可以实现2D扩散的概括性和3D数据的一致性。该模型可以被应用为3D生成的多视图先验,通过Score Distillation Sampling来解决现有2D-lifting方法中的3D一致性问题,从而极大地提高了稳定性。最后,我们展示了多视图扩散模型也可以在少量样本设置下进行微调,用于个性化的3D生成,即DreamBooth3D应用中,在学习主体身份之后可以保持一致性。
Aug, 2023
DreamCraft3D是一个层次化的3D内容生成方法,通过使用2D参考图像来引导几何雕刻和纹理增强的阶段,解决了现有方法遇到的一致性问题,使用得分蒸馏采样和视角相关的扩散模型来生成一致的几何体,并通过训练个性化的扩散模型来提高纹理质量,最终生成具有逼真渲染效果的连贯的3D对象。
Oct, 2023
通过利用未标记图像和无监督方法,DreamCreature提出了一种新的文本生成图像模型,能够生成具有丰富结构和逼真外观的新生物种类,以促进创意应用和属性修改。
Nov, 2023
利用预训练的2D大规模生成模型,我们提出了DreamComposer,一个可灵活可扩展的框架,通过注入多视图条件来增强现有的视图感知扩散模型,以生成具有高保真度的具有多视图条件的新视图图像,并用于可控的3D物体重建和其他各种应用。
Dec, 2023
利用2D互联网图像学习3D动物模型的方法3D-Fauna,通过组合几何感应的先验知识和自主监督特征提取器隐式捕捉的语义知识,克服了模型动物所面临的有限训练数据挑战,并构建了一个关节应用的3D网格,仅需几秒钟便可基于任何四足动物的单张图像重建。
Jan, 2024
BoostDream是一个高效的插件式3D细化方法,能够将粗糙的3D资产转化为高质量的3D资产,通过引入3D模型蒸馏、新颖的多视角SDS损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于SDS方法相比,BoostDream在生成高质量的3D资产方面表现出色,克服了双面问题,从而实现了3D生成过程的效率和质量的重大进展。
Jan, 2024
我们提出了一个两阶段的文本到3D生成系统,名为3DTopia,它使用混合扩散先验在5分钟内生成高质量的通用3D资产。第一阶段直接从3D数据学习的3D扩散先验中采样,由文本条件的三视图潜在扩散模型提供动力,快速生成用于快速原型设计的粗糙3D样本。第二阶段利用2D扩散先验进一步优化第一阶段中粗糙3D模型的纹理。优化包括潜在空间和像素空间的优化,用于生成高质量的纹理。为了促进所提出系统的训练,我们通过结合视觉语言模型和大型语言模型清洗和加标最大的开源3D数据集Objaverse。实验证据定性和定量地展示了所提出系统的性能。我们的代码和模型可在此https网址获得。
Mar, 2024
使用稀疏射线采样方法通过关键点监督,实现了在当前管道中显式注入来自检索参考对象的3D先验,以确保高质量和多样化的3D几何,同时保持2D扩散模型的生成质量和多视角一致性。
Mar, 2024
本研究提出了一种新颖的潜在扩散模型LT3SD,旨在解决现有三维场景生成方法在空间范围和质量上的局限。我们引入潜在树表示法,有效编码不同频率的几何和细节,从而提高生成复杂多样的三维场景的能力。实验表明,LT3SD在大规模、高质量的无条件三维场景生成及部分场景观察的概率补全方面具有明显优势。
Sep, 2024