Apr, 2024

MicroDreamer：基于得分的迭代重建，无需说明，在约 20 秒内进行零样本 3D 生成

PDF
TL;DR基于优化的方法如分数蒸馏采样 (SDS) 在零样本 3D 生成方面表现出潜力，但由于每个样本所需的高函数评估 (NFEs) 的数量较多，效率较低。本文介绍了一种名为基于分数的迭代重建（SIR）的高效通用算法，用于使用多视图基于分数扩散模型进行 3D 生成。SIR 通过反复优化 3D 参数来减少 NFEs，而不是 SDS 中的单次优化，模仿 3D 重建过程。通过在像素空间进行优化等改进，我们提出了一种称为 MicroDreamer 的高效方法，它通常适用于各种 3D 表示和 3D 生成任务。特别是在保持可比性能的同时，MicroDreamer 比 SDS 在生成神经辐射场方面快 5-20 倍，并且在单个 A100 GPU 上从 3D 高斯分裂生成网格大约需要 20 秒，这是最快的零样本基准 DreamGaussian 的一半时间。我们的代码可在此 https URL 获取。
发现论文，激发创造
  • 稳定梦想者：驯服嘈杂的分数蒸馏采样用于文本到三维

    在文本到 3D 生成领域，通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题，本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用，在这些局限上，我们提出了 StableDreamer，它包含了三个新进展，通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。

    Dec, 2023

  • ProlificDreamer: 高保真度和多样性的文本生成 3D 影像技术，基于变分分数精炼

    本文提出了一种新的面向文本到三维立体生成的方法，即基于随机变量的粒子变分打分抽样，通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题，并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。

    May, 2023

  • IM-3D：迭代多视图扩散与重建的高质量 3D 生成

    在本文中，我们通过考虑视频生成器，使用高斯喷洒的 3D 重建算法，减少 2D 生成器网络的评估次数 10-100 倍，实现更高效的处理管道，提供更高质量、更少几何不一致性和更多可用的 3D 资源。

    Feb, 2024

  • BoostDream：高质量的多视角扩散文本到 3D 生成的高效细化

    BoostDream 是一个高效的插件式 3D 细化方法，能够将粗糙的 3D 资产转化为高质量的 3D 资产，通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比，BoostDream 在生成高质量的 3D 资产方面表现出色，克服了双面问题，从而实现了 3D 生成过程的效率和质量的重大进展。

    Jan, 2024

  • NeuSD：多视角文本到图像扩展的表面完整性

    我们提出了一种新颖的方法，用于从多个图像中进行 3D 物体表面重建，其中只捕获了物体的一部分。我们的方法基于两个最新发展：使用神经辐射场进行表面重建，用于重建表面的可见部分，以及使用预训练的 2D 扩散模型的指导（SDS）完成未观察到的区域的形状。我们引入了三个组件：首先，建议使用法线图作为 SDS 的纯几何表示，而不是与外观信息交织在一起的颜色渲染。其次，我们在训练过程中使 SDS 噪声保持固定，这会导致更一致的梯度和更好的收敛性。第三，我们提出了多视角 SDS 作为一种在不对底层 2D 稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在 BlendedMVS 数据集上对我们的方法进行评估，结果显示相比竞争方法，我们取得了显著的定量和定性改进。

    Dec, 2023

  • Sparse3D：基于稀疏视角的多视点一致性扩散物体重建

    Sparse3D 是一种针对稀疏视角输入的新型三维重建方法，通过从强大的图像扩散模型提取 2D 先验，使得我们的综合模型在面对开放世界对象时仍能始终保持高质量的结果，并借助 C-SDS 技术来增强细节，实验证明了我们的方法在 NVS 和几何重建方面优于之前的最先进工作。

    Aug, 2023

  • 通过重新参数化的 DDIM 进行分数蒸馏

    通过修改 DDIM，我们的方法在 3D 生成中消除了过度平滑，保留了高频细节，并使生成质量接近于 2D 采样器，从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量，而无需训练额外的神经网络或多视图监督，并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。

    May, 2024

  • FlexiDreamer：使用 FlexiCubes 的单图像生成 3D

    通过灵活的基于梯度的提取方式（FlexiCubes）以及逐步优化的多分辨率哈希格网编码方案，FlexiDreamer 能够在约 1 分钟的时间内从单视图图像中恢复出密集的 3D 结构，并在单个 NVIDIA A100 GPU 上远远优于之前的方法。

    Apr, 2024

  • RL 梦想：基于得分传递的三维生成的策略梯度优化

    3D 生成在过去十年中迅速发展，得益于生成建模领域的进步。得分蒸馏采样（SDS）渲染大大提高了 3D 资源生成的水平。此外，最近的溯源扩散策略优化（DDPO）工作表明扩散过程与策略梯度方法兼容，并已通过美学评分函数改进了 2D 扩散模型。我们首先展示了这个美学评分器在各种基于 SDS 的方法中作为强有力的指导，并展示了它在文本到 3D 合成中的有效性。此外，我们利用 DDPO 方法改进了从 2D 扩散模型获得的 3D 渲染质量。我们的方法 DDPO3D 采用了策略梯度方法和美学评分。据我们所知，这是第一种将策略梯度方法扩展到基于得分的 3D 渲染的方法，并显示了对 SDS-based 方法（如 DreamGaussian）的改进。我们的方法与基于得分蒸馏的方法兼容，可以将各种奖励函数融入生成过程中。您可以通过此网址访问我们的项目页面 https URL。

    Dec, 2023

  • 无需针对每个形状优化，45 秒内将任意单张图像转换为 3D 网格

    该研究提出了一种新的方法，使用单个图像进行 3D 重建，生成了一个完整的 360 度 3D 纹理网格，改进于现有方法，具有更好的几何形状和一致性。

    Jun, 2023