通过三平面融合进行一致的三维肖像视频重建
Real3D-Potrait 是一种框架,通过使用大型图像到平面模型和高效的运动适配器,从而改进了一次性 3D 重建的能力,实现了精确的运动条件动画,并利用头 - 躯干 - 背景超分辨率模型生成具有自然躯干运动和可切换背景的逼真视频,同时支持一次性以音频驱动的说话脸生成。与以前的方法相比,广泛的实验证明 Real3D-Portrait 对于未见过的身份具有很好的泛化能力,并生成更逼真的说话肖像视频。
Jan, 2024
利用多帧视频自我监督训练深度网络,学习面部身份模型并同时重建 3D 面部,采用新的多帧一致性损失函数使得 consistent shape 和 appearance 尽量减小深度不确定性,从而实现单目和多帧重建。
Dec, 2018
该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法,使用基于视觉 Transformer 的三面板编码器,利用合成数据进行训练,通过卷积渲染技术对神经辐射场的规范三面板进行重建,可以在具有 3D 感知图像生成器的其他类别中应用。
May, 2023
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
本文提出了一种使用单个 RGBD 相机实现鲁棒的三维自画像的方法,并且通过提出的 PIFusion 和轻量级捆绑调整算法,可以在几秒钟内生成详细的 3D 自画像。
Apr, 2020
该论文介绍了如何从单目视频中获取任意人物的准确三维身体模型和纹理,该方法仅需使用智能手机或网络摄像头,使每个人都能创建自己的全可动数字双胞胎,如社交 VR 应用或在线时尚购物的虚拟试穿。
Mar, 2018
本文提出了一种基于新开发的三维生成对抗网络(GANs)的画像图像动画的技术,该技术允许对图像主体的姿态进行明确控制,并展示了该方法在图像质量,身份保护和姿态转移等方面胜过先前的方法,同时支持属性修改。
Mar, 2022
本文提出了一种一次性 3D 感知肖像动画方法 Export3D,通过介绍一个三平面生成器,将 3DMM 的表情参数转换成源图像的三平面,并通过可区分体素渲染将三平面解码为不同视角的图像,从而实现对给定肖像图像的面部表情和相机视角的控制。与现有的肖像动画方法不同的是,我们提出了一种对无外貌的表情参数进行对比预训练的框架,消除了在跨身份表情转换时不希望出现的外貌交换。广泛实验证明,我们的预训练框架能够学习隐藏在 3DMM 中的无外貌表情表示,我们的模型能够以跨身份的方式生成具有 3D 感知的表情可控肖像图像,而不会发生外貌交换。
Mar, 2024
本文提供一种基于学习的方法来从单个肖像图像中恢复人头的 3D 几何形状,并且使用参数化 3D 人脸模型来表示头部几何形状以及其他头部区域的深度图,同时使用双目立体匹配方法从具有野外人脸的图像中学习头发和耳朵的几何信息,最后,评估和对比结果表明该方法可以产生高保真的 3D 头部几何形态和头部姿态操作结果。
Apr, 2020