Oct, 2023

HumanNorm：高质量和逼真的 3D 人体生成的正常扩散模型学习

PDF
TL;DR通过使用法线贴图对文本到图像传播模型进行微调，使其能够适应文本到法线传播模型，从而提高对三维几何体的二维感知，同时保留从大规模数据集中学习到的先验知识，从而实现高质量和逼真的三维人体生成。
text-to-3d methodsdiffusion modelshigh-quality human generationnormal maps3d human generation
发现论文，激发创造
  • RichDreamer: 一个适用于文本到 3D 的可推广的法线混合模型

    通过训练一个通用的 Normal-Depth 扩散模型，结合图像到深度和法向量先验模型，以及引入反射率扩散模型来减轻材质的混合光照效果，本文提出了一种用于 3D 生成的方法，显著增强了细节丰富性，达到了最先进的结果。

    Nov, 2023

  • 超人类：具有潜在结构扩散的超逼真人类生成

    通过建立大规模人体数据集 HumanVerse，结合深度学习模型和结构引导生成器，我们提出了 HyperHuman 方法，实现了生成真实自然的人体图像。

    Oct, 2023

  • Human 3Diffusion：透过明确的 3D 一致性扩散模型实现逼真的头像创作

    通过构建新的模型，通过将 2D 扩散模型和 3D 重建模型进行紧密耦合，我们可以从单个 RGB 图像中创建逼真的头像，并实现几何和外观上的高保真度。

    Jun, 2024

  • 可塑扩散：单图像化身创造的三维一致扩散

    本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中，增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下，生成流水线模型在单图像的新视角合成任务上的性能改进，更重要的是，这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知，我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型；广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。

    Jan, 2024

  • DreamAvatar: 基于扩散模型的文本和形状指导下的 3D 人体化身生成

    DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架，它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成，并引入了包含规范空间和观察空间的双重空间设计，它们之间由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估，证明 DreamAvatar 明显优于现有方法，为文本和形状引导的 3D 人体生成设立了新的技术水准。

    Apr, 2023

  • Direct2.5: 多视角 2.5D 扩散下的多样化文本到 3D 生成

    通过使用经过微调的 2D 扩散模型的多视角 2.5D 扩散方法，我们填补了 2D 扩散和直接 3D 扩散方法之间的差距，为 3D 内容生成提供了多样性、无模式寻找和高保真度，仅需 10 秒。

    Nov, 2023

  • HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成

    使用单个参考图像生成 3D 人体模型是具有挑战性的，本文提出了一种从单视角输入生成 3D 人体模型的框架 HumanRef，通过引入参考引导评分蒸馏采样（Ref-SDS）方法有效地将图像指导纳入生成过程，实现了生成具有精细几何结构、逼真纹理和视角一致性的 3D 服装人物。

    Nov, 2023

  • 3DDesigner: 基于文本引导扩散模型的照片般逼真的 3D 物体生成和编辑

    本文提出了一种基于文本引导扩散模型的 3D 场景生成、编辑和新视角合成方法，并重点讨论了 3D 一致性、本地编辑和单张图像训练等基础问题，取得了较好的效果。

    Nov, 2022

  • MVHuman：多视采样定制的 2D 扩散用于逼真的 3D 人体生成

    利用 MVHuman 方案，通过多视角采样策略和预训练的 Stable Diffsuions 网络生成人体辐射场，无需微调或蒸馏，且优于现有的 3D 人体生成方法。

    Dec, 2023

  • 基于形状引导扩散的单图像三维人体数字化

    通过将高容量的二维扩散模型与形状引导扩散相结合并利用逆渲染技术，从单一图像中逐步合成多个视角的完全纹理化高分辨率三维网格，实现了广泛的服装人物 360 度合成的照片级别结果。

    Nov, 2023