3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑
通过将对应关系正则化引入扩散模型,可以显著加快 3D 编辑过程,该方法使得在大多数情况下与基线方法相比速度提高了 10 倍,并在 2 分钟内完成了 3D 场景的编辑。
Dec, 2023
本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法,该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制,将 2D 的扩散模型作为先验,通过梯度下降优化 3D 模型(Neural Radiance Field),并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据,也不需要修改图像扩散模型,证明了使用预训练的图像扩散模型作为先验的有效性。
Sep, 2022
通过引入一种新的二维扩散模型来生成由四个正交视图子图像组成的图像,从而利用正交视图图像引导生成高保真度的三维内容,并应用渐进式三维合成策略,显著提高了生成效率和质量,包括解决了 Janus 问题,并在定量和定性评估中证明了优越性。
Aug, 2023
通过将预训练的二维扩散模型引入神经光辐射场(NeRFs),文本到三维生成方法取得了巨大的进展,其中许多最先进的方法通常使用得分蒸馏采样(SDS)来优化 NeRF 表示,该方法通过预训练的文本条件的二维扩散模型(例如 ImData)监督 NeRF 优化。然而,由这种预训练扩散模型提供的监督信号仅依赖于文本提示,并不限制多视角一致性。为了将跨视角一致性引入扩散先验中,一些最近的工作通过多视角数据微调二维扩散模型,但仍缺乏细粒度的视图连贯性。为了解决这个挑战,我们将多视角图像条件纳入 NeRF 优化的监督信号中,明确强制执行细粒度的视图一致性。通过这种更强的监督,我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在 T$^3$Bench 数据集上的定量评估表明,我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。
Dec, 2023
我们引入了一种名为 DN2N 的文本驱动编辑方法,使用现成的基于文本的图像编辑模型修改 3D 场景图片,并提出了一种去除噪声扰动的训练数据生成方法,以及交叉视图正则化项来帮助泛化 NeRF 模型,实现了友好、直观和实用的用户编辑体验,并实现了多种编辑类型的效果。
Sep, 2023
通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合,我们提出了一种新的方法来自动化计算机生成的视频的创作过程,并输出高质量和时间上一致的帧。
Dec, 2023
通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节,本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法,实验证明该方法相较于基线能够生成更高质量的细节。
Jul, 2023
我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术,提出了一种新的训练方法,并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。
May, 2023
以 Bidirectional Diffusion(BiDiff)为框架,同时整合 3D 和 2D 扩散过程,既保持了 3D 的真实性,又保留了 2D 纹理的丰富性,通过新颖的双向引导进一步提高一致性,将生成的过程从 3.4 小时减少到 20 分钟,以达到高质量、多样性和可伸缩性的 3D 生成。
Dec, 2023
本研究探讨了扩散模型在文本条件下生成图像的问题,并比较了不同的指导策略:CLIP 指导和无分类器指导。 结果发现对于照片逼真度和字幕相似性,后者更受人类评估人员的青睐,还可以进行图像修复。
Dec, 2021