May, 2024

Dreamer XL：通过轨迹得分匹配实现高分辨率文本到 3D 生成

PDF
TL;DR该研究提出了一种新颖的轨迹分数匹配方法 (Trajectory Score Matching, TSM)，旨在解决使用去噪扩散隐式模型 (Denoising Diffusion Implicit Models, DDIM) 反演过程中，Interval Score Matching (ISM) 由于累积误差导致的伪真值不一致问题。通过利用 DDIM 的反演过程计算相同起点的两条路径，TSM 可以减小与 ISM 相比的累积误差，从而缓解伪真值不一致问题。TSM 提高了模型在蒸馏过程中生成路径的稳定性和一致性，并实验证明 ISM 是 TSM 的特例。此外，为了优化从高分辨率文本到三维生成的多阶段优化过程，我们采用了稳定扩散 XL 进行指导。针对使用稳定扩散 XL 时由于不稳定梯度导致的异常复制和分裂问题，我们提出了一种逐像素梯度裁剪方法。广泛的实验证明我们的模型在视觉质量和性能方面显著超过了目前的最先进模型。
发现论文，激发创造
  • LucidDreamer：基于区间评分匹配的高保真度文本到 3D 的生成方案

    最近关于文本到 3D 生成的进展在生成模型中取得了重要的里程碑，为在各种现实场景下创建富有想象力的 3D 资产开辟了新的可能性。然而，尽管最近的文本到 3D 生成方法显示出一定的潜力，但它们在呈现详细和高质量的 3D 模型方面常常表现不佳。本文识别了 Score Distillation Sampling 方法中的一个显著缺陷，即它为 3D 模型提供了不一致且低质量的更新方向，从而导致过度平滑效果。为了解决这个问题，我们提出了一种新颖的方法，称为 Interval Score Matching。ISM 采用确定性扩散轨迹，并利用基于区间的分数匹配来抵消过度平滑。此外，我们将 3D 高斯喷洒技术引入我们的文本到 3D 生成流程。大量实验证明我们的模型在质量和训练效率方面大大优于现有方法。

    Nov, 2023

  • ExactDreamer: 通过精确分数匹配进行高保真度的文本到 3D 内容创作

    Text-to-3D content creation research proposes novel methods such as LucidDreamer, Interval Score Matching, and Exact Score Matching to overcome limitations in high-fidelity generation, reconstruction errors, and loss of content in 3D models.

    May, 2024

  • DreamFlow：通过近似概率流进行高质量的文字到三维图像生成

    通过利用预训练的 T2I 扩散模型，借助预定时间步长安排，将文本到 3D 优化提升为多视角图像到图像转换问题，我们提出了一种新的优化算法和实用的三阶段粗到精的文本到 3D 优化框架 DreamFlow，实现快速生成高质量、高分辨率（1024x1024）的 3D 内容。

    Mar, 2024

  • 稳定梦想者：驯服嘈杂的分数蒸馏采样用于文本到三维

    在文本到 3D 生成领域，通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题，本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用，在这些局限上，我们提出了 StableDreamer，它包含了三个新进展，通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。

    Dec, 2023

  • DreamTime: 文本到 3D 内容创作的优化策略改进

    本文研究基于 Text-to-Image 散射模型精调的神经放射场的 3D 建模问题。研究表明一些局限性的存在是方法本身优化和统一时间步骤采样之间的矛盾所造成的。提出通过使用单调非递增函数优先采样时间步长来解决这个矛盾，从而获得更高质量和多样性的 3D 模型。

    Jun, 2023

  • 亮梦想者：通用的 3D 高斯生成框架用于快速文本到 3D 合成

    BrightDreamer 是一种端到端的单阶段方法，可以实现通用且快速（77 毫秒）的文本到 3D 生成，通过估算 3D 变形、形状基准位置和各种属性来生成百万个 3D Gaussian。

    Mar, 2024

  • ScaleDreamer: 异步分数蒸馏的可扩展文本到 3D 合成

    通过异步分步衰减噪声的辅助分数精炼以及扩展的计算机视觉模型，我们提出的算法对文本生成三维内容进行了高质量、可扩展的训练和综合，尤其在大型文本数据集下表现出卓越的一致性。

    Jul, 2024

  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024

  • DreamFusion: 使用 2D 扩散进行文本到 3D 转换

    本文提出了一种使用基于文本转图像的扩散模型进行文本到 3D 合成的方法，该方法绕过了需要大规模标记的 3D 数据集和能够去噪的 3D 数据的限制，将 2D 的扩散模型作为先验，通过梯度下降优化 3D 模型（Neural Radiance Field），并使用概率密度蒸馏引入的损失函数将 2D 扩散模型与 3D 模型相结合。这种方法不需要 3D 训练数据，也不需要修改图像扩散模型，证明了使用预训练的图像扩散模型作为先验的有效性。

    Sep, 2022

  • 基於預訓練多視圖擴散模型的扎實可組件化且多樣性的文本至三維

    本文提出了一种名为 Grounded-Dreamer 的有效两阶段方法，通过使用预训练的多视角扩散模型，在准确遵循复杂的、构成性的文本提示的同时实现高保真度，生成能够准确遵循复杂、构成性文本提示的 3D 资产。

    Apr, 2024