TexVocab: 基于纹理词汇的人体动画
提出了一种名为 PoseVocab 的编码技术,该技术基于训练动态的多视角 RGB 视频,构建关键姿势和潜在嵌入,以有效地编码动态人体外观细节,从而使得在新的姿势下实现逼真且广泛的动画成为可能。
Apr, 2023
本文使用图像到图像翻译方法在 SMPL 模型的 UV 空间中推断纹理和几何学,以此预测人物的完整三维化身。通过此方法,我们得到的预测纹理和几何学可以应用到 SMPL 模型上,从而自然地对新的姿势、形状和衣物进行推广。
Aug, 2019
该研究提出了 VariTex 方法,利用神经人脸纹理学习了变分潜在特征空间,使得其能够控制面部外部区域,并以此实现对外貌、头部姿态和面部表情的精细控制,从而能够合成具有几何一致性的人脸图片。
Apr, 2021
我们提出了一个学习全身神经头像的系统,该系统采用中间路径,同时估计模型表面的显式二维纹理映射,并通过卷积网络将身体特征点的配置与相机相对应,直接映射为图像中单个像素的 2D 纹理坐标。我们展示了这样的系统能够学习生成逼真的渲染,并通过与使用直接图像到图像翻译的系统相比较的值得推崇的泛化性能来展示,保持显式纹理表示对于系统的改善有所帮助。
May, 2019
利用 TexDreamer 模型,我们通过有效的纹理自适应微调策略将大型文本到图像模型转化成语义化 UV 结构,在保留其原始泛化能力的同时,能够在数秒内生成高保真度的 3D 人体纹理。此外,我们还介绍了包含 50k 高保真度的纹理及文本描述的 ATLAS 高分辨率 3D 人体纹理数据集。
Mar, 2024
我们提出了一种新颖的虚拟人物表示方法,用于高度逼真的实时动画和渲染 3D 应用程序。我们从最先进的多视角视频重建中获取高精度的动态网格序列,学习姿态相关的外观和几何形状,并利用统计身体模型来限制搜索空间,以实现更高效、有针对性的学习和定义姿态依赖性。通过在 SMPL 模型的一致 UV 空间中学习观察到的几何与拟合的 SMPL 模型之间的差异,我们能够在模型中编码姿态相关的外观和几何形状,从而不仅保证了较高水平的真实感,还促进了虚拟人物的实时处理和渲染。
Oct, 2023
提出了一种新的参数化模型 SMPLX-Lite-D,可以适应扫描网格的详细几何结构,同时保持脸部、手部和脚部区域的稳定几何结构。利用 SMPLX-Lite 数据集,训练了一个条件变分自编码器模型,以人体姿势和面部关键点作为输入,生成逼真的可驾驶人体化身。
May, 2024
本文提出了一个零射击的管道,该管道可以通过捕捉用户的身份以令人愉悦的方式进行头像生成,具有个性化的图像生成特征,此外,作者使用大规模图像数据集学习人类 3D 姿态参数,克服了动作捕捉数据集的局限性。
Apr, 2023
通过在捕捉过程中引入可动化 AvatarCap,该方法通过将图像观察和 avatar 先验信息相结合来重建高度逼真、姿态依赖的 3D 纹理模型,并利用 GeoTexAvatar 学习一个有效的可动化 Avatar 模型以及一个涉及规范化融合和重建网络的捕捉方法来进一步提高数据的质量。
Jul, 2022