GeneAvatar:单幅图像通用表达感知体积化头像编辑
提出了一种名为 IMavatar 的新方法,可以从单目视频中生成隐式头像。通过学习混合形状和蒙皮场来表示表情和姿势相关的变形,使得这些属性可以用于完成新表情和姿态下的几何和纹理场的变形,并通过光线行进和迭代根查找,为每个像素定位规范表面交点,从而实现了头像的生成,并通过端到端的训练,得出了比现有技术更完整的表情空间和几何形状。
Dec, 2021
我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法,旨在解决面部表情追踪失败的问题,并实现高保真度的图像合成。
Nov, 2023
通过在捕捉过程中引入可动化 AvatarCap,该方法通过将图像观察和 avatar 先验信息相结合来重建高度逼真、姿态依赖的 3D 纹理模型,并利用 GeoTexAvatar 学习一个有效的可动化 Avatar 模型以及一个涉及规范化融合和重建网络的捕捉方法来进一步提高数据的质量。
Jul, 2022
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
使用少量图像创建高质量的个性化头像,通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验,实现基于少量输入图像的自动解码,优化 3DMM 拟合和相机校准以改进少样本自适应,开创了创建更高效个性化头像的道路,超越现有最先进的方法。
Feb, 2024
本文提出了一种从野外拍摄的单目 RGB 视频学习高质量的隐式三维头像的方法,该方法通过参数化人脸模型驱动头像实现用户控制的面部表情和头部姿态,使用几何先验和 3DMM 的动态跟踪结合神经辐射场实现细粒度控制和光线真实感,并通过在 3DMM 几何上锚定的局部特征来预测,通过 3DMM 变形驱动,插值在 3D 空间中产生指定查询点的体积辐射。我们进一步展示了在 UV 空间使用卷积神经网络是关键的,可以整合空间上下文和产生代表性的局部特征。大量实验表明,与其他最先进的方法相比,我们能够重建高质量的头像,并具有更准确的表情依赖细节,更好地推广到训练之外的表情和数量上优秀的渲染效果。
Apr, 2023
本文提出了 AvatarStudio—— 一种基于文本的方法,用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合,并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后,发现我们的方法优于现有的方法。
Jun, 2023
通过引入一个由点云驱动的动态基于点的表情场,以及在三平面规范场中使用多三平面注意力(MTA)融合模块来利用多个输入图像的信息,我们提出了一种名为 GPAvatar 的框架,可以在单次前向传递中从一个或多个图像中重建 3D 头像,实现忠实的身份重建,精确的表情控制和多视角一致性,并展示了自由视点渲染和新视角合成的有 promising 结果。
Jan, 2024
本文提出了一种新的基于 3D 可塑模型(3DMM)的文本引导头部生成方法,利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身,以此在一定程度上提高 3D 头部生成的精度和多样性。
Jul, 2023
基于单目视频输入,本研究提出了一种名为 360° 体积肖像(3VP)头像的新方法,该方法用于重建 360° 全景真实头像,以模板为基础跟踪躯干、头部和面部表情,训练基于神经辐射场的神经体积表示,解决了外观变化模型中特别是嘴唇和牙齿区域的挑战,评估了实际采集的数据并与最先进的单目重建方法进行了比较。
Dec, 2023