Dec, 2023

TriHuman: 实时可控的三平面表示法用于详细人体几何和外观合成

PDF
TL;DR通过视频数据创建可控、逼真、几何详细的数字化人类复制品是计算机图形学和视觉领域的关键挑战，特别是当需要实时性能时。最近的方法将神经光辐射场（NeRF）附加到关节结构上，如身体模型或骨骼，将点映射到姿势规范空间，同时条件化 NeRF 的骨骼姿势。我们提出了 TriHuman，一个新的人体定制、可变形和高效的三平面表示方法，实现了实时性能、最先进的姿势控制几何合成以及逼真的渲染质量。在核心部分中，我们非刚性地将全局光线采样变形到无变形的三平面纹理空间中，这有效解决了将全局点映射到相同三平面位置的问题。然后，我们展示了如何将这种三平面特征表示方法与骨骼运动相关联，以考虑动态外观和几何变化。我们的结果表明，对于人体的几何和外观建模以及运行时间性能，有了明显的质量提升。
发现论文，激发创造
  • HR 人形：利用三角网格和视频高分辨率纹理建模人形化身

    通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略，通过神经隐式表达生成可编辑的变形人体模型。

    May, 2024

  • SphereHead: 基于球面三平面表示的稳定三维全头合成

    通过使用球面坐标系中的新型三平面表示，以及引入视图 - 图像一致性损失来减少生成的伪影，该研究提出了一种解决全方位，全角度三维头部合成挑战的方法。

    Apr, 2024

  • 走向 4D 人类视频风格化

    本文提出了一种 4D（3D 和时间）人体视频风格化的方法，该方法在同一个框架内解决了风格转移、新视角合成和人体动画的问题。通过利用神经辐射场（NeRFs）来表示视频，我们可以在渲染特征空间中进行风格化处理，从而实现对于新视角和新姿势的泛化。实验证明，该方法在风格纹理和时间连贯性方面取得了出色的平衡，优于现有方法，并可以适应新的姿势和视角，成为创作人体视频风格的多功能工具。

    Dec, 2023

  • 可控的 3D 人体合成的表面对齐神经辐射场

    本研究提出了一种从稀疏的多视角 RGB 视频中重建可控的隐式 3D 人体模型的新方法，使用网格表面点和身体网格的符号距离来定义神经场景表示，并通过改进的顶点法线的重心插值将点投影到网格表面上，实现了更高质量的新视角和新姿势合成，同时支持容易控制的身体形状和服装。

    Jan, 2022

  • TransHuman：基于 Transformer 的能够推广使用的神经人类表现

    通过使用 Transformer 和 Deformable Partial Radiance Fields 进行编码和融合，本研究提出了一种名为 TransHuman 的新框架，用于处理不同角色的多视角视频中的动态人体运动。在 ZJU-MoCap 和 H36M 的广泛实验中，TransHuman 实现了具有高效率的显著性能的新的最先进成果。

    Jul, 2023

  • MonoHuman：从单目视频中生成可动的人类神经网络场

    本论文提出了一种名为 MonoHuman 的新型框架，该框架使用共享双向变形模块和前向对应搜索模块来创造出一个可塑性质高的形变场，其利用离线关键帧信息来推断人体不同部位运动的相关特征，使得生成的虚拟角色在姿势、细节和视角等方面更为真实。与其他现有方法相比，该框架产生的效果更为卓越。

    Apr, 2023

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 欺骗性人体：通过 3D 一致的合成图像进行 3D 人体生成的提示

    利用 Deceptive-Human，这篇论文提出了一种新颖的 Prompt-to-NeRF 框架，利用最先进的控制扩散模型（例如 ControlNet）生成高质量的可控 3D 人体 NeRF，并通过逐步优化的方法提高重建质量。

    Nov, 2023

  • R2Human：来自单一图像的实时 3D 人类外貌渲染

    使用单幅图像进行实时推断和渲染逼真的三维人体外貌的 R$^2$Human 方法结合了隐式纹理场和显式神经渲染的优势，利用新的表示法 Z-map 并通过傅里叶占用场重建了精细的三维几何，从而在合成数据和挑战性的现实世界图像上取得了最先进的性能。

    Dec, 2023

  • 从有限的视点中学习完整的人类神经表征

    不加强实境应用中的动画人型化身是不可能的。我们提出了一种基于 HINT 的算法，能够从有限的视角学习到详细和完整的人体模型，通过引入对称先验、正则化约束和大型人体数据集提供的训练线索来解决传统方法中受限于视角可用性的问题，从而使我们的方法能够重构完整的人体，即使只有少数视角，与先前最先进算法相比，性能提高了 15% 以上的峰值信噪比。

    May, 2024