May, 2024

ExactDreamer: 通过精确分数匹配进行高保真度的文本到 3D 内容创作

PDF
TL;DRText-to-3D content creation research proposes novel methods such as LucidDreamer, Interval Score Matching, and Exact Score Matching to overcome limitations in high-fidelity generation, reconstruction errors, and loss of content in 3D models.
text-to-3d content creationscore distillation samplingluciddreamerinterval score matchingexact score matching
发现论文，激发创造
  • LucidDreamer：基于区间评分匹配的高保真度文本到 3D 的生成方案

    最近关于文本到 3D 生成的进展在生成模型中取得了重要的里程碑，为在各种现实场景下创建富有想象力的 3D 资产开辟了新的可能性。然而，尽管最近的文本到 3D 生成方法显示出一定的潜力，但它们在呈现详细和高质量的 3D 模型方面常常表现不佳。本文识别了 Score Distillation Sampling 方法中的一个显著缺陷，即它为 3D 模型提供了不一致且低质量的更新方向，从而导致过度平滑效果。为了解决这个问题，我们提出了一种新颖的方法，称为 Interval Score Matching。ISM 采用确定性扩散轨迹，并利用基于区间的分数匹配来抵消过度平滑。此外，我们将 3D 高斯喷洒技术引入我们的文本到 3D 生成流程。大量实验证明我们的模型在质量和训练效率方面大大优于现有方法。

    Nov, 2023

  • Dreamer XL：通过轨迹得分匹配实现高分辨率文本到 3D 生成

    该研究提出了一种新颖的轨迹分数匹配方法 (Trajectory Score Matching, TSM)，旨在解决使用去噪扩散隐式模型 (Denoising Diffusion Implicit Models, DDIM) 反演过程中，Interval Score Matching (ISM) 由于累积误差导致的伪真值不一致问题。通过利用 DDIM 的反演过程计算相同起点的两条路径，TSM 可以减小与 ISM 相比的累积误差，从而缓解伪真值不一致问题。TSM 提高了模型在蒸馏过程中生成路径的稳定性和一致性，并实验证明 ISM 是 TSM 的特例。此外，为了优化从高分辨率文本到三维生成的多阶段优化过程，我们采用了稳定扩散 XL 进行指导。针对使用稳定扩散 XL 时由于不稳定梯度导致的异常复制和分裂问题，我们提出了一种逐像素梯度裁剪方法。广泛的实验证明我们的模型在视觉质量和性能方面显著超过了目前的最先进模型。

    May, 2024

  • 通过重新参数化的 DDIM 进行分数蒸馏

    通过修改 DDIM，我们的方法在 3D 生成中消除了过度平滑，保留了高频细节，并使生成质量接近于 2D 采样器，从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量，而无需训练额外的神经网络或多视图监督，并为扩散模型中 2D 和 3D 资源生成之间的关系提供有用的见解。

    May, 2024

  • 多样化文本到 3D 生成的流动得分蒸馏

    通过 DDIM 生成过程的类似 SDS 损失的表达方式，本论文发现 SDS 可以看作是一种广义的 DDIM 生成过程，结合创新的噪声抽样方法和流分数蒸馏（FSD）方法，实验证明 FSD 方法显著增强了生成的多样性而不损害质量。

    May, 2024

  • ScaleDreamer: 异步分数蒸馏的可扩展文本到 3D 合成

    通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型，我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合，尤其在大型文本数据集下表现出卓越的一致性。

    Jul, 2024

  • 稳定梦想者：驯服嘈杂的分数蒸馏采样用于文本到三维

    在文本到 3D 生成领域，通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题，本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用，在这些局限上，我们提出了 StableDreamer，它包含了三个新进展，通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。

    Dec, 2023

  • BoostDream：高质量的多视角扩散文本到 3D 生成的高效细化

    BoostDream 是一个高效的插件式 3D 细化方法，能够将粗糙的 3D 资产转化为高质量的 3D 资产，通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比，BoostDream 在生成高质量的 3D 资产方面表现出色，克服了双面问题，从而实现了 3D 生成过程的效率和质量的重大进展。

    Jan, 2024

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024

  • ProlificDreamer: 高保真度和多样性的文本生成 3D 影像技术，基于变分分数精炼

    本文提出了一种新的面向文本到三维立体生成的方法，即基于随机变量的粒子变分打分抽样，通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题，并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。

    May, 2023

  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024