May, 2024

ID-to-3D：通过分数蒸馏采样表达个体身份引导的 3D 头部

PDF
TL;DR我们提出了 ID-to-3D，这是一种方法，可以通过从一个随意拍摄的野外图像中生成具有解耦表情的身份和文本引导的 3D 人头。我们的方法基于组合性，并使用特定任务的 2D 扩散模型作为优化的先验知识。我们的结果实现了前所未有的一致性身份和高质量纹理和几何生成，可以用于游戏和远程呈现。
id-to-3didentity- and text-guided 3d human headsexpression disentanglementneural parametric representationgeometry and albedo texture generation
发现论文，激发创造
  • Portrait3D：基于单张野外人像图像的 3D 头部生成

    提出了 Portrait3D 框架，通过将肖像图像的身份信息整合到几何初始化、几何塑造和纹理生成阶段中，实现了从单幅肖像图像生成高质量 3D 头像的方法。

    Jun, 2024

  • 高效文本引导的三维感知人像生成：应用得分蒸馏采样于分布

    本研究提出了一种名为 DreamPortrait 的算法，它可以在一个前向传递中生成文本引导下的 3D 感知画像，通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布，进一步设计了 3D 感知门控交叉关注机制，生成高效且具有鲁棒的多视图语义一致性的人像。

    Jun, 2023

  • HeadArtist: 自注意力配准的文本驱动三维头部生成

    该研究提出了一种名为 HeadArtist 的方法，通过文本描述生成 3D 人头模型，采用具有里程碑引导的 ControlNet 作为生成先验，通过自分数蒸馏（SSD）的方式优化参数化 3D 人头模型，实验结果表明这种方法生成的高质量 3D 人头雕塑几何结构和现实外观足够好，并且在艺术造型和外观编辑方面明显优于现有的方法。

    Dec, 2023

  • IDE-3D: 高分辨率三维感知人像综合的交互式分离式编辑

    本文提出了一个结合了低分辨率可编辑性和高质量的生成模型，是 3D-semantics-aware 方法的新途径，在视图一致、语义分离的面部图像方面具有状态 - of-the-art 的性能、忠实度和效率。

    May, 2022

  • HeadSculpt: 使用文本创造 3D 头像

    本研究提出了名为 HeadSculpt 的通用粗到细流程，用于从文本提示中生成和编辑三维头像，实现了更高的保真度和编辑能力。

    Jun, 2023

  • Dream-in-Style: 使用风格化得分蒸馏的文本到 3D 生成

    通过输入文本和风格参考图像，我们提出了一种生成风格化的三维对象的方法，利用神经辐射场重建来合成与文本提示一致内容和风格参考图像的三维模型，并通过样式化评分蒸馏损失来指导文本到三维的优化过程，输出视觉合理的几何和外观。经与现有方法的比较表明我们方法在视觉上表现强大，同时通过用户研究的定量结果得到进一步支持。

    Jun, 2024

  • 3D 引导细粒度人脸操作

    提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

    Feb, 2019

  • Guide3D：根据文本和图像指导创建 3D 化身

    通过结合文字和图像信息，利用扩散模型，我们开发了一种零样本的三维生成模型，能够合成高分辨率纹理网格，实现了将二维图像直接转化为三维空间的功能。

    Aug, 2023

  • 用于文本到 3D 生成的检索增强得分蒸馏

    通过检索辅助的方法，RetDream 解决了文本到 3D 生成中存在的 3D 几何不一致问题，并实现了几何一致性和生成场景的忠实度的显著改进。

    Feb, 2024

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024