Jan, 2024

Consistent3D: 通过确定性采样先验实现一致高保真度的文本到 3D 生成

PDF
TL;DR通过分析分数蒸馏抽样（SDS）及其变体，我们发现其蒸馏抽样过程实际上对应于随机微分方程（SDE）的轨迹抽样，这启发我们提出了一种新颖有效的 “Consistent3D” 方法，该方法通过确定性抽样先验来进行文本到三维生成。实验结果表明，Consistent3D 在生成高保真度和多样性的三维物体和大规模场景方面具有很高的效能。
score distillation samplingtext-to-3d generationgeometry collapsepoor texturesconsistent3d
发现论文，激发创造
  • VividDreamer：朝向高保真高效的文本到 3D 生成

    提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

    Jun, 2024

  • 通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏

    通过引入 GSD 框架，将三维一致性和几何意识融入 SDS 过程，该方法显著提高了性能，在文本到三维生成任务中成功解决了几何不一致性问题，并与现有的基于分值蒸馏的模型兼容。

    Jun, 2024

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024

  • ProlificDreamer: 高保真度和多样性的文本生成 3D 影像技术，基于变分分数精炼

    本文提出了一种新的面向文本到三维立体生成的方法，即基于随机变量的粒子变分打分抽样，通过此方法在保证样本质量和多样性的同时避免了过饱和、过平滑和低多样性等问题，并在 NeRF 算法基础上生成了高保真渲染效果的三维网格。

    May, 2023

  • 多样化文本到 3D 生成的流动得分蒸馏

    通过 DDIM 生成过程的类似 SDS 损失的表达方式，本论文发现 SDS 可以看作是一种广义的 DDIM 生成过程，结合创新的噪声抽样方法和流分数蒸馏（FSD）方法，实验证明 FSD 方法显著增强了生成的多样性而不损害质量。

    May, 2024

  • 稳定梦想者：驯服嘈杂的分数蒸馏采样用于文本到三维

    在文本到 3D 生成领域，通过得分提取采样 (SDS) 使用的 2D 扩散模型经常导致模糊外观和多面几何等问题，本研究通过分析发现这些挑战的核心是 2D 扩散过程中噪声水平、扩散网络架构和 3D 模型表示之间的相互作用，在这些局限上，我们提出了 StableDreamer，它包含了三个新进展，通过此方法能够解决多面几何问题、生成高保真的 3D 模型并且稳定收敛。

    Dec, 2023

  • 4D-fy: 使用混合分数蒸馏抽样实现文本到 4D 生成

    使用混合得分蒸馏取样的方法，我们展示了具有引人注目外观、3D 结构和动态的 4D 场景的合成。

    Nov, 2023

  • 得分蒸馏采样与学习的流形校正

    Score Distillation Sampling 方法使用图像扩散模型解决优化问题，我们分析了其损失函数并提出有效修复方案，通过定量和定性实验验证了新的损失公式的多样性和有效性。

    Jan, 2024

  • 高质量三维生成的稳定分数蒸馏

    通过对 Score Distillation Sampling（SDS）进行解释，我们揭示了其作为三个功能组成部分 —— 模式分离、模式寻找和方差降低的组合，并分析了每个组成部分的特性。在此基础上，我们提出了一种名为稳定评分蒸馏（SSD）的简单而有效的方法，有效地协调每个组成部分，实现高质量的 3D 内容生成。大量实验证实了我们方法的有效性，即使在最具挑战性的 NeRF 表示下，也能生成高保真度的 3D 内容而不会出现过度平滑和过度饱和等问题。

    Dec, 2023

  • 使用分类器分数蒸馏的文本到 3D 转换

    通过对分类器无关指导在分数蒸馏中的作用进行重新评估，我们发现了一个令人惊讶的发现：仅仅用指导就足够进行有效的文本到 3D 生成任务。我们称之为分类器分数蒸馏（CSD）方法，它可以理解为使用隐式分类模型进行生成。这种新视角揭示了对现有技术的新见解。我们在形状生成、纹理合成和形状编辑等各种文本到 3D 任务中验证了 CSD 的有效性，取得了优于现有方法的结果。

    Oct, 2023