Dec, 2023

学习优化去噪分数用于 3D 生成：对 NeRF 和 3D 高斯叠加进行统一和改进的扩散先验

PDF
TL;DR我们提出了一个统一框架，旨在增强三维生成任务的扩散先验。通过优化三维模型和扩散先验，我们的方法在性能和实施复杂性之间提供了多种配置，并在文本到三维生成领域取得了显著成果，成为新的技术先驱。
diffusion priors3d generationunified frameworkoptimizationstate-of-the-art
发现论文，激发创造
  • 高斯弥散：用于去噪扩散概率模型的三维高斯分布

    基于高斯喷射的文本到三维内容生成框架，通过控制高斯球的透明度实现更真实的图像生成；通过引入多视角噪声分布矫正多视角几何中的不一致性；使用变分高斯喷射技术提高三维外观的质量和稳定性。

    Nov, 2023

  • 单级扩散 NeRF：一种统一的三维生成和重建方法

    本文提出了一种称为 SSDNeRF 的新方法，它使用表达能力强的 Diffusion Model 从多视图图像中学习神经辐射场（NeRF）的可推广先验，实现 3D 重建和先验学习的同时，证明了该方法在无条件生成和单 / 稀疏视图 3D 重建等任务上具有与任务特定方法媲美或优于其的鲁棒性结果。

    Apr, 2023

  • HiFA：高保真度文本到三维生成与高级扩散引导

    我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

    May, 2023

  • 高斯 SR: 二维扩散先验下的三维高斯超分辨率

    通过使用 3D 高斯喷洒、得分蒸馏抽样等技术实现基于低分辨率输入视图的高分辨率新视图合成。

    Jun, 2024

  • HD-Fusion: 多噪声估计支持的详细文本到 3D 生成

    通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节，本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法，实验证明该方法相较于基线能够生成更高质量的细节。

    Jul, 2023

  • 文字图像条件扩散用于一致的文字到 3D 生成

    通过将预训练的二维扩散模型引入神经光辐射场（NeRFs），文本到三维生成方法取得了巨大的进展，其中许多最先进的方法通常使用得分蒸馏采样（SDS）来优化 NeRF 表示，该方法通过预训练的文本条件的二维扩散模型（例如 ImData）监督 NeRF 优化。然而，由这种预训练扩散模型提供的监督信号仅依赖于文本提示，并不限制多视角一致性。为了将跨视角一致性引入扩散先验中，一些最近的工作通过多视角数据微调二维扩散模型，但仍缺乏细粒度的视图连贯性。为了解决这个挑战，我们将多视角图像条件纳入 NeRF 优化的监督信号中，明确强制执行细粒度的视图一致性。通过这种更强的监督，我们提出的文本到三维方法有效地减轻了由于过高密度而产生的浮动点和由于密度不足而形成的完全空白空间。我们在 T$^3$Bench 数据集上的定量评估表明，我们的方法在现有的文本到三维方法中达到了最先进的性能。我们将公开发布代码。

    Dec, 2023

  • DreamFusion: 使用 2D 扩散进行文本到 3D 转换

    本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

    Sep, 2022

  • Boosting3D: 通过逐步学习将 2D 扩散先验提升到 3D 先验的高保真图像到 3D 转化

    Boosting3D 是一种多阶段单图像到 3D 生成方法，能够在不同数据领域中鲁棒地生成合理的 3D 对象。该方法通过建模合理的几何结构来解决单图像引导的 3D 生成中的视角一致性问题，利用更好的 3D 先验在训练 NeRF 之前对目标对象进行训练，并提出了一种渐进训练策略来训练 LoRA 和 NeRF。通过渐进训练，LoRA 学习生成对象的 3D 信息，最终成为对象级别的 3D 先验。实验证明了该方法的有效性，Boosting3D 学习了超出预训练扩散先验能力的对象特定 3D 先验，并在单图像到 3D 生成任务中取得了最先进的性能。

    Nov, 2023

  • DiffusionGAN3D: 结合 3D GANs 和 Diffusion 先验的文本引导的 3D 生成和领域适应

    我们提出了一个新的框架 DiffusionGAN3D，通过结合 3D GANs 和扩散先验来增强文本引导的 3D 领域适应和生成，该方法在领域适应和文本到头像任务中取得了优异的生成质量和效率结果。

    Dec, 2023

  • DiffusionBlend: 通过位置感知扩散分数混合学习三维图像先验，用于三维计算机断层扫描重建

    通过位置感知的三维图像块扩散评分融合，本文提出了一种新的框架，能够学习三维图像的先验进行大规模三维医学图像重建，实验表明我们的方法在稀疏视图和有限角度的 CT 重建上显著优于先前的方法，并且在高维三维图像（$256 imes 256 imes 500$）的实际 CT 重建问题上获得了最先进的性能，同时算法具有更好或相当的计算效率。

    Jun, 2024