ICCVAug, 2023

基于单目深度的神经表面场用于人体建模

PDF
TL;DR通过具有个性化、三维可动角色的单目摄像头获取数据，在建模动态、细粒度服装变形方面存在挑战。本文提出了一种名为 ' 神经表面场 ' 的新方法，用于从单目深度数据中建模穿着服装的三维人物，以超越现有方法的局限性，具有计算效率高、网格连贯性好以及能够重建任意分辨率网格等优势。
personalized 3d animatable avatarsmonocular cameramodeling 3d clothed humansneural surface fieldscomputational efficiency
发现论文，激发创造
  • MonoHuman：从单目视频中生成可动的人类神经网络场

    本论文提出了一种名为 MonoHuman 的新型框架，该框架使用共享双向变形模块和前向对应搜索模块来创造出一个可塑性质高的形变场，其利用离线关键帧信息来推断人体不同部位运动的相关特征，使得生成的虚拟角色在姿势、细节和视角等方面更为真实。与其他现有方法相比，该框架产生的效果更为卓越。

    Apr, 2023

  • 可控的 3D 人体合成的表面对齐神经辐射场

    本研究提出了一种从稀疏的多视角 RGB 视频中重建可控的隐式 3D 人体模型的新方法，使用网格表面点和身体网格的符号距离来定义神经场景表示，并通过改进的顶点法线的重心插值将点投影到网格表面上，实现了更高质量的新视角和新姿势合成，同时支持容易控制的身体形状和服装。

    Jan, 2022

  • 从单目视频中神经捕捉可动画 3D 人体

    本文提出了一种基于动态神经辐射场和网格参数化三维人体模型的新方法，通过映射表征人体在不同姿势和角度的变化特征，实现了高质量渲染。

    Aug, 2022

  • 通过可控局部变形场实现的隐式神经头部合成

    通过基于部件的隐式形状模型，我们设计了一种可以控制 3D 头像的方法，可以推断局部语义 Rig，包括面部特征，通过局部控制丰富了隐式形变字段，使其具有更强的局部控制性能。

    Apr, 2023

  • 单目 4D 面部头像动态神经辐射场重建

    使用动态神经辐射场模型重新构建并生成能够通过单目输入数据学习的场景表示，结合场景表示网络和低维可变形模型进行虚拟场景生成。

    Dec, 2020

  • 可动态展示人类身体的神经辐射场建模

    该论文提出了一种通过神经融合权重场和骨骼驱动变形的方法，从多视角视频中重建可动画的人体模型，相较于现有的人体合成方法，该方法具有显著优势。

    May, 2021

  • 从单目 RGB 视频中生成可动态调整神经辐射场

    本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色，通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景，并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。

    Jun, 2021

  • 通过神经明确表面来解释神经隐式场，实现高效的动态人体角色建模

    提出了一种通过神经明确表面（NES）对动态人物进行有效建模的技术。该技术利用隐式神经场显式地表示，以提高内存和计算效率。通过隐式方法进行训练并结合显式渲染界面，利用新提出的基于光栅化的神经渲染器进行高效渲染，实现了材质颜色查询的优化，减少了冗余和计算负载。该方法在速度和内存开销方面有显著改进，同时能够描述动态人体几何形态与纹理。

    Aug, 2023

  • 基于视频的姿势调节化身

    通过神经放射场（NeRF）驱动底层骨骼，现在可以从一组稀疏的摄像机中重构动态人体动作和形状。我们开发了一个自适应和显式的频域两支神经网络来建模与骨骼姿态相关的衣物和皮肤的变形。通过模拟不同姿势所需的唯一频率分配，我们的网络在保留细节和泛化能力方面优于现有的方法。

    Aug, 2023

  • NDF: 动态人体建模的神经可变场

    本文提出了神经可变形场（NDF）来用于多视角视频中人体动态数字化。首先，采用拟合的参数化身体模型包围学习到的神经可变形场，并利用神经网络来映射动作到 NDF 的动态。实验表明，NDF 能够合成具有新视角和新姿势的数字表演者，具有详细和合理的动态外观，并且明显优于最近的人体合成方法。

    Jul, 2022