Instant3D:即时文本到三维生成
本文提出了 Dream3D 方法,将显式的三维形状先验引入 CLIP 导向的三维优化过程中,以生成高质量的三维形状。结合文本到图像扩散模型,Dream3D 能够生成精准而富有想象力的三维内容。
Dec, 2022
MAV3D使用4D神经辐射场和T2V模型从文本描述中生成3D动态场景,无需3D或4D数据,通过综合的定量和定性实验证明其有效性,并显示比已建立的内部基线更好的性能。
Jan, 2023
本研究主要介绍了生成人工智能中的文本导向内容生成,着重探讨其中的文本导向三维技术,提供了一份关于该领域的综合调查报告。该报告介绍了三维数据表示、相关技术及其在不同应用方面的应用,包括头像生成、纹理生成、形状变换和场景生成,以及使用NeRF等文本到图像与三维建模技术的新兴方向的最新进展。
May, 2023
通过将生成式文本转图像模型和图像到3D方法相结合,如神经辐射场,文本到3D建模已经取得了令人兴奋的进展,但目前需要逐个优化来创建3D对象。我们提出了一种新的框架-摊销文本到3D(ATT3D)-通过以统一模型同时训练多个提示来摊销优化,从而在更短的时间内共享提示集的计算,实现了跨提示的知识共享,可以概括未见过的设置,并使文本之间的插值更加平滑,从而实现了新资产和简单动画的3D建模。
Jun, 2023
通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像,从而利用正交视图图像引导生成高保真度的三维内容,并应用渐进式三维合成策略,显著提高了生成效率和质量,包括解决了Janus问题,并在定量和定性评估中证明了优越性。
Aug, 2023
通过自然语言描述生成三维物体的文本到三维生成技术,采用多尺度三面网(Multi-Scale Triplane Network)和新的渐进学习策略,有效地恢复细节并高效优化大尺寸三维输出,为自动三维原型制作提供了可能。
Sep, 2023
通过使用两阶段的方法——首先使用精调的2D文本到图像扩散模型一次性生成稀疏一致的四个结构化视图,然后利用一种新颖的基于Transformer的稀疏视图重构器直接回归生成的图像的NeRF——我们提出了Instant3D,一种新颖的方法,以前馈方式从文本提示中生成高质量、多样化的3D资产。通过大量实验证明,我们的方法可以在20秒内生成高质量、多样化且无Janus问题的3D资产,比之前需要1到10小时的基于优化的方法快两个数量级。
Nov, 2023
BrightDreamer是一种端到端的单阶段方法,可以实现通用且快速(77毫秒)的文本到3D生成,通过估算3D变形、形状基准位置和各种属性来生成百万个3D Gaussian。
Mar, 2024
DIRECT-3D是一种基于扩散的三维生成模型,从文本提示中创建高质量的三维资产(由神经辐射场表示);通过直接在大规模无序三维资产上训练,同时过滤和对齐噪声数据,使用迭代优化的扩散过程估计物体的三维姿势并选择有益数据,并通过两个条件性扩散模型实现分离对象几何和颜色特征的高效三维表示;模型能在几秒内生成具有准确几何细节的高质量、高分辨率、逼真而复杂的三维对象,并在单类别生成和文本到三维生成方面达到最先进的性能。
Jun, 2024