通过单个被遮挡的面部图像生成多样化的 3D 重建
本文提出了基于多视角几何一致的自监督训练架构,目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明,该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。
Jul, 2020
本文提出了一种使用深度学习技术进行 3D 面部重建的新方法,其中使用了混合损失函数进行弱监督学习,同时利用多个图像进行面部重建,实现了快速、准确、鲁棒的重建效果,对不同数据集进行了综合实验,并与 15 种现有方法进行了比较,证明了其性能处于领先地位。
Mar, 2019
本研究提出了一种基于人脸分割和三维人脸重建的面部去遮挡模型,通过预测面部先验和遮挡掩码实现了对所有种类的面部遮挡(包括毛发等较模糊的边界)的自动去除,并为了监督训练进一步构建了一个大型遮挡数据集。实验证明,该方法有效且鲁棒。
Dec, 2021
该研究提出了一种通过采用分层方法解决 3D 面部重建过程中的整体形状、中层细节和局部细节估计间的复杂关系,以应对不正面、非平面旋转和遮挡等极端条件,进而实现高质量面部重建。
Dec, 2017
本论文介绍了一种基于卷积神经网络和生成随机几乎逼真的面部图像的方法,可以通过单张照片快速、稳健地重建面部的三维几何结构,即使在极端表情和各种光照条件下也可以成功恢复面部形状。
Sep, 2016
本研究提出了一种新颖的基于 3DMM 和生成对抗网络的方法来恢复去遮挡的人脸图像并重建正确的 3D 面部模型,实验结果证实了该算法在消除各种头部姿势和光照等难以处理的遮挡方面的有效性和鲁棒性。
Apr, 2019
本研究提出了一种新的方法,使用粗到细的优化策略,从不受限制的 2D 图像中重建 3D 人脸,包括利用基于示例的双线性人脸模型生成光滑的粗糙 3D 人脸,使用局部修正变形场对其进行精细化处理和使用形状 - 从 - 阴影方法恢复细节,实现了真实世界模型和公共可用数据集的精度和细节恢复方面的领先水平。
Feb, 2017
我们介绍了多切片推理,这是一种新的单视图 3D 重建概念,挑战了多视图综合是单视图和 3D 之间最自然的桥梁的当前和普遍的观念。我们的关键观察是,通过物体切片来揭示被遮挡的结构比改变视角更有优势。具体而言,切片能够更好地揭示遮挡物,因为它可以在没有阻碍的情况下穿过任何遮挡物。在极限情况下,即使用无限多个切片,它能够揭示所有隐藏的物体部分。我们通过开发名为 Slice3D 的新方法来实现我们的想法,该方法首先从单个 RGB 图像预测多个切片图像,然后使用基于坐标的转换网络将这些切片集成到 3D 模型中以进行有符号距离预测。切片图像可以通过 U-Net 网络进行回归或生成。对于前者,我们通过注入可学习的切片指示器代码将每个解码图像指定到一个空间切片位置,而切片生成器是在输入通道上堆叠的切片图像的去噪扩散模型。我们进行了广泛的评估,与最先进的替代方法进行了比较,以展示我们方法在恢复复杂且严重遮挡的形状结构中的优越性,尤其是在存在歧义的情况下。所有 Slice3D 的结果都是由在单个 Nvidia A40 GPU 上训练的网络产生的,推理时间不到 20 秒。
Dec, 2023
本文提出了一种使用 Siamese 卷积神经网络的 3D 人脸重建方法,采用对比损失和恒等损失来保留身份特征信息和增加不同身份之间的距离,从而提高人脸识别的准确性。实验证明,在 300W-LP 和 AFLW2000-3D 等数据库上,相较于现有技术,该方法更加有效。
May, 2019
本研究提出了一种基于深度学习的面部修复方法,能够在大面积遮挡的情况下实现多角度视角的面部完成重构,并保持面部的身份特征。与传统的面部修复方法不同,该方法基于生成网络,具有特定的约束条件,能够合成具有一致身份特征的连贯面部图像,拥有更好的稳定性和合成技巧。
Jul, 2018