我们提出了神经头像,该方法能够显式建模动画人物头像的表面几何形状和外观,是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法,它能够从单目 RGB 人像视频中学习,能够精确地外推到未知姿态和观察角度,并产生自然的表情和清晰的纹理细节。
Dec, 2021
该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理,该方法仅需使用智能手机或网络摄像头,使每个人都能创建自己的全可动数字双胞胎,如社交 VR 应用或在线时尚购物的虚拟试穿。
Mar, 2018
通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略,通过神经隐式表达生成可编辑的变形人体模型。
May, 2024
我们提出了 IntrinsicAvatar,一种从仅单目视频中恢复着装人类角色的内在属性,包括几何、反射率、材质和环境光照的新方法。
Dec, 2023
本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法,该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态,使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感,并通过在 3DMM 几何上锚定的局部特征来预测,通过 3DMM 变形驱动,插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的,可以整合空间上下文和产生代表性的局部特征。大量实验表明,与其他最先进的方法相比,我们能够重建高质量的头像,并具有更准确的表情依赖细节,更好地推广到训练之外的表情和数量上优秀的渲染效果。
Apr, 2023
使用一个人的动态视频,通过引入新颖的组合式人体建模框架,结合显式建模和隐式建模的方法,实现高质量的服装 3D 人体化身建模,解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战,成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。
使用少量图像创建高质量的个性化头像,通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验,实现基于少量输入图像的自动解码,优化 3DMM 拟合和相机校准以改进少样本自适应,开创了创建更高效个性化头像的道路,超越现有最先进的方法。
Feb, 2024
基于单目视频输入,本研究提出了一种名为 360° 体积肖像(3VP)头像的新方法,该方法用于重建 360° 全景真实头像,以模板为基础跟踪躯干、头部和面部表情,训练基于神经辐射场的神经体积表示,解决了外观变化模型中特别是嘴唇和牙齿区域的挑战,评估了实际采集的数据并与最先进的单目重建方法进行了比较。
GoMAvatar 是一种实时、内存高效、高质量可动画人体建模方法,利用高斯分布在网格上进行表达,实现新姿势的重新建模和新视角的实时渲染,并无缝集成光栅化图形流水线,其渲染质量超过当下的单目人体建模算法,并在计算效率(43 FPS)和内存占用(每个主体 3.63MB)方面显著优于它们。
Apr, 2024
本文提出一种使用图像条件扩散模型和神经辐射场方法,通过短单眼 RGB 视频和文本说明合成编辑后的、照片逼真的可动 3D 神经头像的方法。在各种主题的定量和定性研究中,我们的方法胜过了现有技术。
Jun, 2023