Oct, 2023

高保真文本到 3D 人体贴图的色彩处理方法

PDF
TL;DR在零样本文本到 3D 人体生成方面的最新进展中，通过使用人体模型先验（例如，SMPL）或 Score Distillation Sampling（SDS）与预训练的文本到图像扩散模型，已经取得了突破性的成果。然而，由于相对较弱的扩散指导，SDS 可能提供不准确的梯度方向，因为它倾向于产生过度平滑的结果并生成与详细网状几何不一致的人体纹理，因此，直接利用现有的高保真度文本到 3D 人体纹理化策略是具有挑战性的。在这项工作中，我们提出了一种称为 PaintHuman 的模型，以解决这两个方面的挑战。我们首先提出了一种新的得分函数，称为降噪得分蒸馏（Denoised Score Distillation，DSD），通过引入负梯度分量来迭代地校正梯度方向并生成高质量的纹理。此外，我们使用深度图作为几何指导，以确保纹理在语义上与人体网状表面对齐。为了保证渲染结果的质量，我们采用了几何感知网络来预测表面材料并渲染逼真的人体纹理。与最先进的方法进行了大量实验证明了我们方法的有效性。
zero-shot text-to-3d human generationsmplscore distillation samplingtext-to-3d human texturinggeometry-aware networks
发现论文，激发创造
  • InstructHumans: 使用指令编辑动画人物的 3D 纹理

    本研究提出 InstructHumans，一个基于指令驱动的三维人体纹理编辑框架，通过选择性地整合 Score Distillation Sampling (SDS) 的子项，结合空间平滑正则化和基于梯度的视点采样，实现了高质量、锐利且高保真度的编辑效果，显著优于现有的三维编辑方法，能够在保持源头人物一致性的同时满足文本指令要求。

    Apr, 2024

  • 一种基于得分蒸馏采样的文本到 3D 的定量评估

    通过定量评估指标、交叉验证人类评级以及分析 SDS 技术的失败案例，我们提出了一种新的计算效率基准模型，以解决生成模型中的艺术问题，包括 3D 模型准确性和文本提示之间的错位问题，并在所提出的评估指标上达到了最先进的性能。

    Feb, 2024

  • 得分蒸馏采样与学习的流形校正

    Score Distillation Sampling 方法使用图像扩散模型解决优化问题，我们分析了其损失函数并提出有效修复方案，通过定量和定性实验验证了新的损失公式的多样性和有效性。

    Jan, 2024

  • HumanGaussian：基于文本驱动的高斯点绘制的 3D 人体生成

    基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian，通过结构感知的 SDS 和退火负向提示引导，以及适应性高斯喷洒渲染器，在细节和训练时间方面取得了优越的性能。

    Nov, 2023

  • HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成

    使用单个参考图像生成 3D 人体模型是具有挑战性的，本文提出了一种从单视角输入生成 3D 人体模型的框架 HumanRef，通过引入参考引导评分蒸馏采样（Ref-SDS）方法有效地将图像指导纳入生成过程，实现了生成具有精细几何结构、逼真纹理和视角一致性的 3D 服装人物。

    Nov, 2023

  • EucliDreamer: 快速而高质量的稳定扩散深度三维模型纹理化

    本文采用一种新方法，通过给定文本提示和 3D 网格来生成 3D 模型的纹理。该方法考虑了额外的深度信息，利用深度条件稳定扩散的评分蒸馏采样过程生成纹理。我们在开源数据集 Objaverse 上运行了模型，并进行了用户研究，与各种 3D 纹理方法的结果进行了比较。我们证明了我们的模型可以生成更令人满意的结果，并为同一对象产生各种艺术风格。此外，在生成可比质量的纹理时，我们取得了更快的时间。我们还进行了彻底的消融研究，研究了不同因素对生成质量的影响，包括采样步骤、引导尺度、负提示、数据增强、高度范围和替代 SDS 方法。

    Nov, 2023

  • 多样化文本到 3D 生成的流动得分蒸馏

    通过 DDIM 生成过程的类似 SDS 损失的表达方式，本论文发现 SDS 可以看作是一种广义的 DDIM 生成过程，结合创新的噪声抽样方法和流分数蒸馏（FSD）方法，实验证明 FSD 方法显著增强了生成的多样性而不损害质量。

    May, 2024

  • 通过三维一致噪声和梯度一致性建模的几何感知评分蒸馏

    通过引入 GSD 框架，将三维一致性和几何意识融入 SDS 过程，该方法显著提高了性能，在文本到三维生成任务中成功解决了几何不一致性问题，并与现有的基于分值蒸馏的模型兼容。

    Jun, 2024

  • 高效文本引导的三维感知人像生成：应用得分蒸馏采样于分布

    本研究提出了一种名为 DreamPortrait 的算法，它可以在一个前向传递中生成文本引导下的 3D 感知画像，通过 Score Distillation Sampling 和 GAN 损失正则化方法来优化分布，进一步设计了 3D 感知门控交叉关注机制，生成高效且具有鲁棒的多视图语义一致性的人像。

    Jun, 2023

  • HeadArtist: 自注意力配准的文本驱动三维头部生成

    该研究提出了一种名为 HeadArtist 的方法，通过文本描述生成 3D 人头模型，采用具有里程碑引导的 ControlNet 作为生成先验，通过自分数蒸馏（SSD）的方式优化参数化 3D 人头模型，实验结果表明这种方法生成的高质量 3D 人头雕塑几何结构和现实外观足够好，并且在艺术造型和外观编辑方面明显优于现有的方法。

    Dec, 2023