本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架,并针对传统模型建立漫画形象耗时且难以保持相似性的问题,提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。
Jul, 2023
虚拟现实 (VR) 具有比其他媒体更具身临其境感的社交互动的潜力。关键在于能够在佩戴 VR 头显的同时准确地模拟一个逼真的个人化化身。本研究揭示了头显摄像头镜头与模型相差较大是导致实时模型性能下降的主要原因,并提出了一个系统设计,将问题分解为两部分:1) 一个迭代优化模块,处理同一领域的输入;2) 一个通用的以化身为导向的图像转换模块,以当前表情和头部姿态的估计为条件。这两个模块相互加强,通过展示接近真实的示例,使图像样式转换更容易,并改善领域差异移除。我们的系统高效地产生高质量的结果,不再需要昂贵的离线注册来生成个性化标签。通过在市售头显上进行大量实验证实了我们方法的准确性和效率,并在直接回归方法和离线注册上展现了显著的改进。
Jan, 2024
使用可变形基于点的表示方法 PointAvatar,将颜色和法向量相关联,可以基于单目视频生成高质量的可动画 3D 头像,并在渲染效率和拓扑灵活性方面加强。
Dec, 2022
我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法,旨在解决面部表情追踪失败的问题,并实现高保真度的图像合成。
Nov, 2023
我们提出了一个学习全身神经头像的系统,该系统采用中间路径,同时估计模型表面的显式二维纹理映射,并通过卷积网络将身体特征点的配置与相机相对应,直接映射为图像中单个像素的 2D 纹理坐标。我们展示了这样的系统能够学习生成逼真的渲染,并通过与使用直接图像到图像翻译的系统相比较的值得推崇的泛化性能来展示,保持显式纹理表示对于系统的改善有所帮助。
May, 2019
本文提出了一个零射击的管道,该管道可以通过捕捉用户的身份以令人愉悦的方式进行头像生成,具有个性化的图像生成特征,此外,作者使用大规模图像数据集学习人类 3D 姿态参数,克服了动作捕捉数据集的局限性。
Apr, 2023
本文提出了一种基于非线性表情嵌入和表情域翻译的跨域表情转移技术,通过低维潜空间、几何约束、感知约束和用户友好的技术,实现了人脸表情转移到虚拟角色上,并且在大范围实验和用户研究中证明了该方法的高效性和高质量。
Aug, 2020
本文提出了 AvatarStudio—— 一种基于文本的方法,用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合,并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后,发现我们的方法优于现有的方法。
Jun, 2023
GETAvatar 是一个用于生成可动画的高质量纹理和几何结构的人型化身的生成模型,通过使用显式表面建模的关节式 3D 人体表示和学习自 3D 扫描数据的 2D 法线图以实现细致的表面细节,并通过基于光栅化的渲染器实现高分辨率图像生成。
Oct, 2023
通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像,首先使用低分辨率的基于 NeRF 的表示进行初步生成,然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染,在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性,利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果,优于之前的方法,并且适用于多模态头像动画和风格引导头像创作等多个应用。