Sep, 2022

DreamFusion: 使用 2D 扩散进行文本到 3D 转换

PDF
TL;DR本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。
text-to-3d synthesisdiffusion modelsneural radiance fieldprobability density distillationpretrained image diffusion models
发现论文，激发创造
  • HiFA：高保真度文本到三维生成与高级扩散引导

    我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

    May, 2023

  • 文字图像条件扩散用于一致的文字到 3D 生成

    通过将预训练的二维扩散模型引入神经光辐射场（NeRFs），文本到三维生成方法取得了巨大的进展，其中许多最先进的方法通常使用得分蒸馏采样（SDS）来优化 NeRF 表示，该方法通过预训练的文本条件的二维扩散模型（例如 ImData）监督 NeRF 优化。然而，由这种预训练扩散模型提供的监督信号仅依赖于文本提示，并不限制多视角一致性。为了将跨视角一致性引入扩散先验中，一些最近的工作通过多视角数据微调二维扩散模型，但仍缺乏细粒度的视图连贯性。为了解决这个挑战，我们将多视角图像条件纳入 NeRF 优化的监督信号中，明确强制执行细粒度的视图一致性。通过这种更强的监督，我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在 T$^3$Bench 数据集上的定量评估表明，我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。

    Dec, 2023

  • HD-Fusion: 多噪声估计支持的详细文本到 3D 生成

    通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节，本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法，实验证明该方法相较于基线能够生成更高质量的细节。

    Jul, 2023

  • Magic3D：高分辨率文本到 3D 内容生成

    本文提出了一种名为 Magic3D 的优化框架，利用低分辨率扩散先验和稀疏 3D 哈希格网结构，通过两阶段优化过程加速生成高质量 3D 网格模型，相对于 DreamFusion 优化用时减少一倍，同时也实现了更高分辨率的生成。用户调查表明，高达 61.7% 的用户更喜欢 Magic3D 模型。

    Nov, 2022

  • TexFusion：使用文本引导的图像扩散模型合成 3D 纹理

    TexFusion（纹理扩散）是一种新的方法，利用大规模的文本引导图像扩散模型，对给定的三维几何图形进行纹理合成。

    Oct, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • ET3D：通过多视角蒸馏实现高效的文本到三维生成

    通过使用大型预训练的文本到图像扩散模型生成的图像作为监督信号，我们提出了一种高效的文本到 3D 生成方法，在消费级显卡上仅需约 8 毫秒即可根据文本提示生成一个 3D 资产，并且不需要 3D 训练数据，通过提炼预训练图像扩散模型为高效文本到 3D 生成提供了一种替代方法。

    Nov, 2023

  • DreamTime: 文本到 3D 内容创作的优化策略改进

    本文研究基于 Text-to-Image 散射模型精调的神经放射场的 3D 建模问题。研究表明一些局限性的存在是方法本身优化和统一时间步骤采样之间的矛盾所造成的。提出通过使用单调非递增函数优先采样时间步长来解决这个矛盾，从而获得更高质量和多样性的 3D 模型。

    Jun, 2023

  • Dream3D: 使用 3D 形状先验和文本到图像扩散模型进行零样本文本到三维合成

    本文提出了 Dream3D 方法，将显式的三维形状先验引入 CLIP 导向的三维优化过程中，以生成高质量的三维形状。结合文本到图像扩散模型，Dream3D 能够生成精准而富有想象力的三维内容。

    Dec, 2022

  • DreamFlow：通过近似概率流进行高质量的文字到三维图像生成

    通过利用预训练的 T2I 扩散模型，借助预定时间步长安排，将文本到 3D 优化提升为多视角图像到图像转换问题，我们提出了一种新的优化算法和实用的三阶段粗到精的文本到 3D 优化框架 DreamFlow，实现快速生成高质量、高分辨率（1024x1024）的 3D 内容。

    Mar, 2024