Mar, 2024

SemanticHuman-HD: 高分辨率语义解耦三维人物生成

PDF
TL;DR本研究提出了 SemanticHuman-HD 方法，它是首个能够实现语义分解的人体图像合成方法，并且能够在 1024^2 分辨率下实现 3D 感知图像合成，通过借助深度图和语义掩膜作为 3D 感知超分辨率的指导，在体素渲染过程中显著减少采样点数量，降低了计算成本。通过对比实验验证了我们方法的优越性，并通过消融实验验证了各个提出组件的有效性。此外，我们的方法为 3D 服装生成、语义感知图像合成、可控图像合成和领域外图像合成等各种应用提供了激动人心的可能性。
neural radiance fieldssemantic disentanglement3d human generationimage synthesis3d-aware super-resolution
发现论文，激发创造
  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • 语义人体：从单目视频中的人体解析进行人体神经渲染

    本文介绍了 Semantic-Human 这一新颖方法，通过扩展 NeRF 以共同编码语义、外观和几何来实现 2D 语义标签，从而实现神经渲染方法下的人体解析，并在连续和新视图中实现一致的人体解析。

    Aug, 2023

  • IDE-3D: 高分辨率三维感知人像综合的交互式分离式编辑

    本文提出了一个结合了低分辨率可编辑性和高质量的生成模型，是 3D-semantics-aware 方法的新途径，在视图一致、语义分离的面部图像方面具有状态 - of-the-art 的性能、忠实度和效率。

    May, 2022

  • VeRi3D：基于顶点的辐射场生成模型用于 3D 可控人体图像合成

    提出了 VeRi3D，一种基于顶点的生成型人体辐射场，通过使用 SMPL 的参数人体模板来实现顶点参数化，从而解决了学习人体生成模型的泛化能力和可控性问题，能够自由地控制相机姿态、人体姿态、形状，以及进行部分级别的编辑，实现了生成逼真的人体图像。

    Sep, 2023

  • PixelHuman: 从少量图像生成可动画的神经辐射场

    提出了 PixelHuman，一种新颖的人类渲染模型，可以从几张具有未知身份、视角和姿势的人的图像中生成可动画的人类场景，并通过神经辐射场和姿势感知像素对齐特征合成每个目标场景，在几张图像中实现了多视角和新颖姿势合成的最新性能。

    Jul, 2023

  • 3DHumanGAN: 面向照片般逼真的三维感知人体图像生成

    本文提出了一种名为 3DHumanGAN 的生成对抗网络（GAN），用于合成全身人体的图像，具有在不同视角和姿势下一致的外观。该模型采用了 2D 卷积背骨由 3D 姿态映射网络调制的生成器架构，能够生成具有 3D 人体先验知识和一致性的逼真图像，并通过对抗学习从网络图片中学习而来。

    Dec, 2022

  • HumanCoser：基于语义感知扩散模型的分层三维人体生成

    基于新颖的物理解耦 - 语义感知扩散模型，本文提出了一个文本驱动的分层式 3D 人体生成框架，可以生成具有一致身体结构的 3D 人体，同时允许分层式的自由编辑。

    Dec, 2023

  • 学习动态人头部的组合辐射场

    本文提出了一种新颖的 3D 组合表示方法，将离散和连续的体积表示方法相结合，结合了粗糙的网格动画代码和连续的学习场景功能，使用可区分的体积渲染来计算动态人头和上半身的新视图，并在使用仅 2D 监督时进行端到端的训练，实现了动态人头和上半身新视图综合的最新最佳结果。

    Dec, 2020

  • 可控的 3D 人体合成的表面对齐神经辐射场

    本研究提出了一种从稀疏的多视角 RGB 视频中重建可控的隐式 3D 人体模型的新方法，使用网格表面点和身体网格的符号距离来定义神经场景表示，并通过改进的顶点法线的重心插值将点投影到网格表面上，实现了更高质量的新视角和新姿势合成，同时支持容易控制的身体形状和服装。

    Jan, 2022

  • 生成式神经关节辐射场

    提出使用 3D GAN 框架对人体或脸部特征进行辐射场生成，通过显式变形场将其变形为期望的姿势或表情，并展示了编辑生成体或脸部特征时显式变形训练过程在提高其质量方面的显著优势。

    Jun, 2022