生成对抗网络反演渲染器用于面部重建
本文利用可微分渲染器提取并分离生成模型中的 3D 知识,将生成对抗网络作为多视图数据生成器,使用现成的可微分渲染器训练逆向图形网络,并将训练好的逆向图形网络作为教师,将 GAN 的潜在向量分离为可解释的 3D 属性。我们的方法在现有数据集上对最先进的逆向图形网络进行定量和用户研究,并显示分离的 GAN 作为可控的 3D “神经渲染器”,补充传统的图形渲染器。
Oct, 2020
本文利用深度学习模型和生成对抗网络技术,在 UV 空间下重建面部纹理,并通过优化参数和预先训练的深度身份特征进行监督来实现高保真和身份保留的 3D 面部重建,同时在高频细节方面实现了面部纹理重建的最高成果
Feb, 2019
提出了一种高保真的三维对抗生成网络,可以在保留输入图像的特定细节的同时合成逼真的新视图。该方法通过伪多视图估计和能见度分析建立,有效解决了三维反演中的几何纹理平衡问题,并成功实现了单张图像的高保真三维重建和新视图合成。并且本方法亦适用于图像属性编辑和 3D 纹理修改,因此有望被广泛应用于人工智能生成的三维内容领域。
Nov, 2022
当前针对人头的 3D GAN 反演方法通常只使用一个正面图像来重建整个 3D 头部模型,从而忽略了多视角数据或动态视频时的有意义信息。本研究基于现有先进的 3D GAN 反演技术,允许一致且同时地反演同一主体的多个视角。我们采用多潜变量扩展来处理动态人脸视频中的不一致性,从而从序列中重新合成一致的 3D 表示。由于我们的方法使用了有关目标主体的额外信息,我们观察到在几何精度和图像质量方面显著提高,尤其是在宽视角下的渲染。此外,我们展示了反演 3D 渲染的可编辑性,这使它们与基于 NeRF 的场景重建有所区别。
Dec, 2023
提出了一种新颖的框架,增量 3D GAN 逆转,通过增加逆转质量随帧数增加来提高数字头像重建性能,引入了一个带有两个关键修改的唯一可动画的 3D GAN 先验,以及一种基于 UV 参数化对纹理特征空间进行分类的创新神经纹理编码器。
Dec, 2023
本文提出了一种使用深度卷积神经网络和生成对抗网络重建人脸纹理和形状的新方法,以及一种自监督回归方法用于较快的拟合过程,展示了可生成高频细节的写实和身份保留的 3D 面部重建。
May, 2021
本文提出了利用 GAN 进行 3D 重建,并引入了 GAN 相机流形的概念,通过精准的相机控制,实现了真正自由视点的渲染,在输入少量的照片的同时具有明显的语义控制能力。
Sep, 2021
本研究提出了一种通用的 3D GAN 反演方法,可以同时计算相机视角和潜变量代码,从而实现多视角一致的语义图像编辑。其关键在于利用预训练的估算器用于更好的初始化,并利用从 NeRF 参数计算的像素深度来更好地重构给定的图像。
Oct, 2022
提出了一种基于 3D 可变形模型和生成对抗网络的面部综合模型,使用普适化方法将几何数据映射到二维平面,实现了对数字扫描的几何数据高效处理,在人类纹理参数空间中生成逼真的面部纹理和它们的对应几何图形,从而获得了新的高分辨率 3D 面孔。
Aug, 2018
本文提出了一种基于 DR-GAN 的面部识别方法,通过生成对抗网络的编码器 - 解码器结构,学习一种表征,该表征可以生成合成的面部图像和具有逆变性的面部姿势识别,同时该表征与其他具有 pose 表现的人脸变化明确地分离,因此在控制场景和实际场景中比当前技术更为出色。
May, 2017