从单目视频重建个性化语义面部 NeRF 模型
本文提出了可动态变化神经辐射场 (animatable NeRF) 的方法用于从单眼视屏中创建细节丰富的人物角色,通过引入显式姿势引导变形的方式学习场景表示网络扩展神经辐射场 (NeRF) 到带有人体运动的动态场景,并展示了该方法在人物几何和外观重建、真实感渲染和动画设计等方面取得了突破性成果。
Jun, 2021
本文提出了一个新的框架,用于从野外视频中重建人体和场景,并在单个视频上提供新的人体姿势和视角渲染的方法。通过训练两个 NeRF 模型(human 和 scene),并依赖现有方法估计人体和场景的大致几何形状,可以从观察空间创建到无关姿态的规范空间的偏移场,进而在规范空间中训练人体模型。我们的方法能够从仅 10 秒的视频剪辑中学习特定主题的细节,包括服装褶皱和配件,并提供在新视角和新姿势下人体的高质量渲染和背景。
Mar, 2022
提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法,通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积,同时使用补偿网络来补充面部细节,并引入变形场来对面部表情进行精细控制。与多种先进方法相比,实验结果显示合成效果更加优越。
Jul, 2023
提出了 MoFaNeRF 模型,它将自由视角图像映射到编码的面部形状、表情和外观的向量空间中,实现了照片级面部合成,有助于面部拟合、随机生成、面部编辑和新视角合成等多个应用。
Dec, 2021
本文提出了神经辐射场用于人物运动的渲染和时空(4D)重建,该方法将神经场表示、新视角合成和隐式统计几何人类表示相结合,并应用于人类姿势识别和服装模拟。
Oct, 2021
本论文提出了一种名为 MonoHuman 的新型框架,该框架使用共享双向变形模块和前向对应搜索模块来创造出一个可塑性质高的形变场,其利用离线关键帧信息来推断人体不同部位运动的相关特征,使得生成的虚拟角色在姿势、细节和视角等方面更为真实。与其他现有方法相比,该框架产生的效果更为卓越。
Apr, 2023
通过融合传统模型的先验信息和新的神经辐射场模型,我们提出了一种新的混合显示 - 隐式 3D 表示方法,用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合,达到了与以前方法相比的最先进性能。
Sep, 2023