Nov, 2023

欺骗性人体：通过 3D 一致的合成图像进行 3D 人体生成的提示

PDF
TL;DR利用 Deceptive-Human，这篇论文提出了一种新颖的 Prompt-to-NeRF 框架，利用最先进的控制扩散模型（例如 ControlNet）生成高质量的可控 3D 人体 NeRF，并通过逐步优化的方法提高重建质量。
deceptive-humanprompt-to-nerf frameworkcontrol diffusion modelshigh-quality controllable 3d human nerfprogressive refinement technique
发现论文，激发创造
  • 人体综合的三维感知语义引导生成模型

    提出了一种基于 3D-SGAN 的语义指导生成模型，利用生成神经辐射场（GNeRF）提取人体的隐式 3D 表示，并用纹理生成器将语义掩码转换为真实图像，为计算机图形学应用中的非刚性物体生成具有照片级真实感的图像。在 DeepFashion 数据集上，比最新的基准表现显著优秀。

    Dec, 2021

  • 使用扩散模型的伪观测增强 NeRF 重建

    本文提出了一种名为 Deceptive-NeRF 的新方法，通过使用合成生成的伪观测数据提高重建 NeRF 模型的质量，能够处理稀疏输入并消除浮动伪影，并通过使用伪观测数据改善 NeRF 模型的质量。

    May, 2023

  • TriHuman: 实时可控的三平面表示法用于详细人体几何和外观合成

    通过视频数据创建可控、逼真、几何详细的数字化人类复制品是计算机图形学和视觉领域的关键挑战，特别是当需要实时性能时。最近的方法将神经光辐射场（NeRF）附加到关节结构上，如身体模型或骨骼，将点映射到姿势规范空间，同时条件化 NeRF 的骨骼姿势。我们提出了 TriHuman，一个新的人体定制、可变形和高效的三平面表示方法，实现了实时性能、最先进的姿势控制几何合成以及逼真的渲染质量。在核心部分中，我们非刚性地将全局光线采样变形到无变形的三平面纹理空间中，这有效解决了将全局点映射到相同三平面位置的问题。然后，我们展示了如何将这种三平面特征表示方法与骨骼运动相关联，以考虑动态外观和几何变化。我们的结果表明，对于人体的几何和外观建模以及运行时间性能，有了明显的质量提升。

    Dec, 2023

  • HumanNeRF：从稀疏输入高效生成人体辐射场

    HumanNeRF 是一种通用的神经表示方法，它沿着多视角输入引入了一个聚合像素对齐特征，并使用一种姿态嵌入的非刚性变形场来处理动态运动，进而通过外观融合模块进一步提高渲染质量，实现了在各种多视角动态人体数据集上合成具有照片般逼真的自由视角人类的高效和通用性。

    Dec, 2021

  • 基于形状引导扩散的单图像三维人体数字化

    通过将高容量的二维扩散模型与形状引导扩散相结合并利用逆渲染技术，从单一图像中逐步合成多个视角的完全纹理化高分辨率三维网格，实现了广泛的服装人物 360 度合成的照片级别结果。

    Nov, 2023

  • RigNeRF: 全控制神经网络 3D 肖像

    本研究提出了 RigNeRF 这一系统，不仅能够让用户通过单个肖像视频控制头部姿态和面部表情，还能够实现场景物体的编辑和自由视角合成。

    Jun, 2022

  • InstructPix2NeRF: 从单张图像指导的 3D 人像编辑

    通过建立一种名为 InstructPix2NeRF 的端到端扩散型框架，实现对单个开放世界图像的人类指导的三维感知人像编辑，实现了多语义编辑，保存了人像身份信息，并通过身份一致性模块增强了多视角三维身份的一致性，实验证明了该方法在定量和定性上的优越性。

    Nov, 2023

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • MPS-NeRF：从多视角图像中渲染通用三维人体模型

    本文提出了一种简单而有效的方法，使用多视角图像作为条件输入，训练出适用于不同人的可泛化 NeRF，该方法的关键部分是将规范空间与输入和目标图像相连，并利用参数化的 3D 人体模型来导出变形，本方法在实现新视角合成和姿势动画任务方面表现出了很好的效果。

    Mar, 2022

  • FDNeRF: 基于扩散模型的面部语义驱动重建、提示编辑和重照

    本文介绍了一种新的生成方法 FDNeRF，可以从单个图像重建高质量的 3D 面孔，并具有语义编辑和改变灯光等功能，相比现有的 2D 编辑方法，FDNeRF 取得了更加逼真的结果和前所未有的灵活性。

    Jun, 2023