分割重构引导的面部图像去遮挡

Dec, 2021

Segmentation-Reconstruction-Guided Facial Image De-occlusion

Xiangnan Yin, Di Huang, Zehua Fu, Yunhong Wang, Liming Chen

TL;DR本研究提出了一种基于人脸分割和三维人脸重建的面部去遮挡模型，通过预测面部先验和遮挡掩码实现了对所有种类的面部遮挡（包括毛发等较模糊的边界）的自动去除，并为了监督训练进一步构建了一个大型遮挡数据集。实验证明，该方法有效且鲁棒。

Abstract

Occlusions are very common in face images in the wild, leading to the degraded performance of face-related tasks. Although much effort has been devoted to removing occlusions from face images, the varying shapes and textures of occlusions still challenge the robustness of current methods. As a result, current methods either rely on manual occlusion masks or

face de-occlusion 3d face reconstruction face segmentation occlusion dataset image generation

发现论文，激发创造

极端三维人脸重建：穿透遮挡

该研究提出了一种通过采用分层方法解决 3D 面部重建过程中的整体形状、中层细节和局部细节估计间的复杂关系，以应对不正面、非平面旋转和遮挡等极端条件，进而实现高质量面部重建。

Dec, 2017

使用 3D 可塑模型和生成对抗网络进行人脸去遮挡

本研究提出了一种新颖的基于 3DMM 和生成对抗网络的方法来恢复去遮挡的人脸图像并重建正确的 3D 面部模型，实验结果证实了该算法在消除各种头部姿势和光照等难以处理的遮挡方面的有效性和鲁棒性。

Apr, 2019

通过单个被遮挡的面部图像生成多样化的 3D 重建

Diverse3DFace 能够通过全局 + 局部形状拟合过程、基于图神经网络的网格 VAE 和基于行列式点过程的多样性推动迭代优化过程产生一个多样且真实的 3D 重建的分布，可以更好地解决面部图像的遮挡问题并且拟合效果比现有方法的单一重建更接近真值，且在遮挡区域具有更高的多样性。

Dec, 2021

基于鲁棒性模型的面部重建技术研究 - 弱监督条件下的离群点分割

本研究旨在通过避免拟合模型的异常值，即无法通过模型很好地表达的区域（如遮挡物或化妆品）来增强基于模型的人脸重建。为了解决本问题，我们提出了一种名为 FOCUS 的联合人脸自编码器和异常值分割方法。我们的实验表明，FOCUS 在所有没有 3D 注释训练的基线中实现了 SOTA3D 人脸重建性能，并且分割网络可以准确地定位遮挡物，尽管没有任何分割注释。

Jun, 2021

基于 RGB 输入的实时面部分割和表现捕捉

通过显式的语义分割技术，利用深度学习网络在实时的不受限制的图像中进行面部追踪，进而应用于虚拟化妆和面部替换任务。

Apr, 2016

面部去遮挡网络用于虚拟远程系统

本研究提出了一种解决虚拟现实设备遮挡人脸问题的深度学习图像修补方案，使用户在虚拟世界中的面部外观更加逼真。

Oct, 2022

可视化无形：遮挡车辆分割与恢复

本文提出了一种新颖的迭代多任务框架，用于完成遮挡车辆的分割掩膜并恢复其不可见部分的外观，并在包含合成和真实世界图像的数据集上表明了我们的方法优于现有方法，同时也证明了外观恢复方法在遮挡车辆跟踪中的应用价值。

Jul, 2019

遮挡一致性：检测和定位被遮挡的人脸

本文提出了一种分层可变形部件模型，用于面部检测和地标定位，能够明确地模拟部件遮挡，这允许我们使用大量的合成遮挡样本数据，以灵活地整合遮挡模式的统计，从而使检测系统在顶部准确性方面胜过传统系统，同时在未遮挡的情况下保持了竞争力。

Jun, 2015

自监督单目 3D 人脸重建：基于遮挡感知多视角几何一致性

本文提出了基于多视角几何一致的自监督训练架构，目标是在面部姿态和深度估计过程中提供可靠的约束。实验结果表明，该方法在面部姿态、表情和光照等方面的变异下都表现出优越性。

Jul, 2020

人体去遮挡：人的隐形感知与恢复

使用两阶段框架和基于 mask 的网络方法，本文针对人体消失的问题进行研究，提出了一种新颖的注意力模块和收集了 Amodal Human Perception dataset（AHP）来验证我们方法的有效性和优越性。

Mar, 2021