面部去遮挡网络用于虚拟远程系统
本研究提出了一种基于深度学习的面部修复方法,能够在大面积遮挡的情况下实现多角度视角的面部完成重构,并保持面部的身份特征。与传统的面部修复方法不同,该方法基于生成网络,具有特定的约束条件,能够合成具有一致身份特征的连贯面部图像,拥有更好的稳定性和合成技巧。
Jul, 2018
本文提出了一个基于几何模型的方法,在虚拟现实场景下戴着头戴式 VR 耳机困难的面部表情识别问题,在 FER + 和 RAF-DB 数据集上使用迁移学习方法,并在根据佩戴一款普通 VR 设备所导致的实际遮挡情况修改的基准数据集上展示了令人满意的识别结果。
Aug, 2020
基于生成对抗网络(GANs)的表情感知视频修复(EVI-HRnet)网络通过使用用户的面部关键点和单一无遮挡参考图像,有效地填补头戴式显示器屏蔽的信息,并通过引入面部表情识别损失函数实现情感保留,从而实现了从面部视频中删除头戴式显示器同时保持主题的面部表情和身份,并在修复后的帧之间保持时间一致性。这种轻量级框架为头戴式显示器遮挡的去除提供了实用的方法,无需额外的硬件,有潜力增强各种协作的扩展性应用。
Jan, 2024
本研究提出了一种基于人脸分割和三维人脸重建的面部去遮挡模型,通过预测面部先验和遮挡掩码实现了对所有种类的面部遮挡(包括毛发等较模糊的边界)的自动去除,并为了监督训练进一步构建了一个大型遮挡数据集。实验证明,该方法有效且鲁棒。
Dec, 2021
本研究中我们提出了一种用于表情驱动的视频修复的网络,利用生成对抗网络来处理静态和移动的遮挡物以生成完整的人脸图像,并借助面部标志和无遮挡参考图像来保持用户身份的一致性和情感的细节修复,为静态和动态帧中的面部视频消除遮挡提供了逼真和连贯的结果。
Feb, 2024
提出了一种基于图像的新方法 FaceVR,该方法可基于自我再现实现 VR 视频会议,通过实时面部动作捕捉算法和单目视频的新数据驱动方法,FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。
Oct, 2016
该研究提出了一种通过采用分层方法解决 3D 面部重建过程中的整体形状、中层细节和局部细节估计间的复杂关系,以应对不正面、非平面旋转和遮挡等极端条件,进而实现高质量面部重建。
Dec, 2017
本文提出了一种面向特征的盲脸修复框架(DeMeshNet),通过在紧凑的特征空间和图像像素空间上同时强制像素级相似度和特征级相似度,用于解决 MeshFace 识别中的低级视觉问题,提高验证性能。
Nov, 2016
使用两阶段框架和基于 mask 的网络方法,本文针对人体消失的问题进行研究,提出了一种新颖的注意力模块和收集了 Amodal Human Perception dataset(AHP)来验证我们方法的有效性和优越性。
Mar, 2021