Nov, 2023

HumanRef: 通过参考引导扩散进行的单张图像到三维人体生成

HTML
PDF
TL;DR使用单个参考图像生成3D人体模型是具有挑战性的，本文提出了一种从单视角输入生成3D人体模型的框架HumanRef，通过引入参考引导评分蒸馏采样（Ref-SDS）方法有效地将图像指导纳入生成过程，实现了生成具有精细几何结构、逼真纹理和视角一致性的3D服装人物。
发现论文，激发创造
  • HumanLiff: 层级3D人体生成与扩散模型

    提出了首个具有统一扩散过程的分层式3D人体生成模型HumanLiff，通过神经渲染和生成模型在三维人体生成方面取得了显著的进展。

    Aug, 2023

  • HumanNorm：高质量和逼真的3D人体生成的正常扩散模型学习

    通过使用法线贴图对文本到图像传播模型进行微调，使其能够适应文本到法线传播模型，从而提高对三维几何体的二维感知，同时保留从大规模数据集中学习到的先验知识，从而实现高质量和逼真的三维人体生成。

    Oct, 2023

  • 超人类：具有潜在结构扩散的超逼真人类生成

    通过建立大规模人体数据集HumanVerse，结合深度学习模型和结构引导生成器，我们提出了HyperHuman方法，实现了生成真实自然的人体图像。

    Oct, 2023

  • 基于形状引导扩散的单图像三维人体数字化

    通过将高容量的二维扩散模型与形状引导扩散相结合并利用逆渲染技术，从单一图像中逐步合成多个视角的完全纹理化高分辨率三维网格，实现了广泛的服装人物360度合成的照片级别结果。

    Nov, 2023

  • HumanGaussian：基于文本驱动的高斯点绘制的3D人体生成

    基于文本提示生成真实的3D人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架HumanGaussian，通过结构感知的SDS和退火负向提示引导，以及适应性高斯喷洒渲染器，在细节和训练时间方面取得了优越的性能。

    Nov, 2023

  • HumanCoser：基于语义感知扩散模型的分层三维人体生成

    基于新颖的物理解耦-语义感知扩散模型，本文提出了一个文本驱动的分层式3D人体生成框架，可以生成具有一致身体结构的3D人体，同时允许分层式的自由编辑。

    Dec, 2023

  • MVHuman：多视采样定制的2D扩散用于逼真的3D人体生成

    利用MVHuman方案，通过多视角采样策略和预训练的Stable Diffsuions网络生成人体辐射场，无需微调或蒸馏，且优于现有的3D人体生成方法。

    Dec, 2023

  • StructLDM：三维人体生成的结构化潜在扩散

    本研究提出了一种新的3D人体生成模型StructLDM，通过在高维潜空间中建模人体的语义结构和拓扑，从而实现可控的3D人体生成和编辑，包括姿势/视角/形状控制、合成生成、服装编辑和虚拟试穿等。

    Apr, 2024

  • HumanCoser：通过语义感知扩散模型生成分层3D人类

    本研究解决了现有3D人类生成方法对复杂服装和分层生成人物的局限性，提出了一种基于物理解耦的扩散模型的分层服装表示。创新的层级融合体积渲染和SMPL驱动的隐式场形变网络相结合，使得我们的模型能够有效实现虚拟试穿和分层人类动画，从而推动了3D人类生成技术的发展。

    Aug, 2024

  • MagicMan：具有3D感知的生成新视图人类合成的扩散与迭代优化

    本研究解决了现有单图像人类重建在训练数据不足或缺乏全面多视图知识所导致的泛化能力弱的问题。我们提出了MagicMan，一个专为人类设计的多视图扩散模型，可以基于单个参考图像生成高质量的新视图图像。研究表明，该方法显著提高了新视图合成和后续3D人类重建任务的表现。

    Aug, 2024