NECA:神经可定制人形化身
我们提出了神经头像,该方法能够显式建模动画人物头像的表面几何形状和外观,是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法,它能够从单目 RGB 人像视频中学习,能够精确地外推到未知姿态和观察角度,并产生自然的表情和清晰的纹理细节。
Dec, 2021
本文提出一种新的混合表征和端到端可训练的网络体系结构,以建模完全可编辑和可定制的神经化身,并设计实现一种特征码本以存储可变形体模型的本地几何和纹理特征。该模型具有 3D 一致性,并利用神经场的模建模力量。此外,该方法还可在三维资产之间交换本地特征以实现局部编辑。通过贡献一个新的高质量数据集,该方法生成了多样化的详细化身,并比现有方法获得更好的模型拟合性能。
Apr, 2023
通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略,通过神经隐式表达生成可编辑的变形人体模型。
May, 2024
本文全面回顾了隐式神经表达在人体建模中的应用,比较分析了隐式建模方法在身体、手和头部的应用,并指出了当前工作的不足之处和研究人员的可用建议。
Jun, 2023
我们提出了一个学习全身神经头像的系统,该系统采用中间路径,同时估计模型表面的显式二维纹理映射,并通过卷积网络将身体特征点的配置与相机相对应,直接映射为图像中单个像素的 2D 纹理坐标。我们展示了这样的系统能够学习生成逼真的渲染,并通过与使用直接图像到图像翻译的系统相比较的值得推崇的泛化性能来展示,保持显式纹理表示对于系统的改善有所帮助。
May, 2019
我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法,旨在解决面部表情追踪失败的问题,并实现高保真度的图像合成。
Nov, 2023
本文提出了一种基于参数化网格人体模型和神经纹理的新型全身人体化身,证明了神经纹理能够成功地建模衣服和头发,并展示了如何使用反向传播从视频的多个框架创建这些化身,进一步提出了一种适用于人体化身的生成模型,能够从人们的图像和视频数据集中进行训练,可以随机生成人体化身以及从一到几张图片中创建穿着着装的人体化身。
Apr, 2021
AvatarReX 是一种新的方法,通过学习基于 NeRF 的全身化身构建,提供可表达身体、手和脸部的控制,同时支持实时动画和渲染;采用合成的化身表示方式,将身体、手和脸部分别建模,并解耦几何和外观,进而实现了针对 DSLR 图像的渲染流程,从而合成高质量的自由视角图像。
May, 2023