Jun, 2023

高效文本引导的三维感知人像生成：应用得分蒸馏采样于分布

PDF
TL;DR本研究提出了一种名为 DreamPortrait 的算法，它可以在一个前向传递中生成文本引导下的 3D 感知画像，通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布，进一步设计了 3D 感知门控交叉关注机制，生成高效且具有鲁棒的多视图语义一致性的人像。
text-to-3ddreamportraitscore distillation sampling3d modelinggan loss regularization
发现论文，激发创造
  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024

  • Dream-in-Style: 使用风格化得分蒸馏的文本到 3D 生成

    通过输入文本和风格参考图像，我们提出了一种生成风格化的三维对象的方法，利用神经辐射场重建来合成与文本提示一致内容和风格参考图像的三维模型，并通过样式化评分蒸馏损失来指导文本到三维的优化过程，输出视觉合理的几何和外观。经与现有方法的比较表明我们方法在视觉上表现强大，同时通过用户研究的定量结果得到进一步支持。

    Jun, 2024

  • 4D-fy: 使用混合分数蒸馏抽样实现文本到 4D 生成

    使用混合得分蒸馏取样的方法，我们展示了具有引人注目外观、3D 结构和动态的 4D 场景的合成。

    Nov, 2023

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024

  • ID-to-3D：通过分数蒸馏采样表达个体身份引导的 3D 头部

    我们提出了 ID-to-3D，这是一种方法，可以通过从一个随意拍摄的野外图像中生成具有解耦表情的身份和文本引导的 3D 人头。我们的方法基于组合性，并使用特定任务的 2D 扩散模型作为优化的先验知识。我们的结果实现了前所未有的一致性身份和高质量纹理和几何生成，可以用于游戏和远程呈现。

    May, 2024

  • 使用分类器分数蒸馏的文本到 3D 转换

    通过对分类器无关指导在分数蒸馏中的作用进行重新评估，我们发现了一个令人惊讶的发现：仅仅用指导就足够进行有效的文本到 3D 生成任务。我们称之为分类器分数蒸馏（CSD）方法，它可以理解为使用隐式分类模型进行生成。这种新视角揭示了对现有技术的新见解。我们在形状生成、纹理合成和形状编辑等各种文本到 3D 任务中验证了 CSD 的有效性，取得了优于现有方法的结果。

    Oct, 2023

  • DreamFlow：通过近似概率流进行高质量的文字到三维图像生成

    通过利用预训练的 T2I 扩散模型，借助预定时间步长安排，将文本到 3D 优化提升为多视角图像到图像转换问题，我们提出了一种新的优化算法和实用的三阶段粗到精的文本到 3D 优化框架 DreamFlow，实现快速生成高质量、高分辨率（1024x1024）的 3D 内容。

    Mar, 2024

  • HeadArtist: 自注意力配准的文本驱动三维头部生成

    该研究提出了一种名为 HeadArtist 的方法，通过文本描述生成 3D 人头模型，采用具有里程碑引导的 ControlNet 作为生成先验，通过自分数蒸馏（SSD）的方式优化参数化 3D 人头模型，实验结果表明这种方法生成的高质量 3D 人头雕塑几何结构和现实外观足够好，并且在艺术造型和外观编辑方面明显优于现有的方法。

    Dec, 2023

  • VividDreamer：朝向高保真高效的文本到 3D 生成

    提出了一种基于姿态相关性蒸馏采样（PCDS）的扩散式三维生成任务的新目标，其通过最小采样步骤（1-3）建立了在扩散轨迹内的姿态相关性函数，以近似真实梯度，并通过粗到细的优化策略实现高质量的三维物体生成。

    Jun, 2024

  • BoostDream：高质量的多视角扩散文本到 3D 生成的高效细化

    BoostDream 是一个高效的插件式 3D 细化方法，能够将粗糙的 3D 资产转化为高质量的 3D 资产，通过引入 3D 模型蒸馏、新颖的多视角 SDS 损失设计以及使用提示和多视角一致的法线图作为指导。与常规基于 SDS 方法相比，BoostDream 在生成高质量的 3D 资产方面表现出色，克服了双面问题，从而实现了 3D 生成过程的效率和质量的重大进展。

    Jan, 2024