Jan, 2024

面部表情感知的 XR 应用中 HMD 移除的视频修复技术

PDF
TL;DR基于生成对抗网络（GANs）的表情感知视频修复（EVI-HRnet）网络通过使用用户的面部关键点和单一无遮挡参考图像，有效地填补头戴式显示器屏蔽的信息，并通过引入面部表情识别损失函数实现情感保留，从而实现了从面部视频中删除头戴式显示器同时保持主题的面部表情和身份，并在修复后的帧之间保持时间一致性。这种轻量级框架为头戴式显示器遮挡的去除提供了实用的方法，无需额外的硬件，有潜力增强各种协作的扩展性应用。
head-mounted displaysextended realityexpression-aware video inpaintinggenerative adversarial networksfacial expression recognition
发现论文，激发创造
  • 基于 GAN 的面部视频修复中的现实地标导向

    本研究中我们提出了一种用于表情驱动的视频修复的网络，利用生成对抗网络来处理静态和移动的遮挡物以生成完整的人脸图像，并借助面部标志和无遮挡参考图像来保持用户身份的一致性和情感的细节修复，为静态和动态帧中的面部视频消除遮挡提供了逼真和连贯的结果。

    Feb, 2024

  • 基于迁移学习的虚拟现实头戴式显示器下部分遮挡下的面部表情识别

    本文提出了一个基于几何模型的方法，在虚拟现实场景下戴着头戴式 VR 耳机困难的面部表情识别问题，在 FER + 和 RAF-DB 数据集上使用迁移学习方法，并在根据佩戴一款普通 VR 设备所导致的实际遮挡情况修改的基准数据集上展示了令人满意的识别结果。

    Aug, 2020

  • 面部去遮挡网络用于虚拟远程系统

    本研究提出了一种解决虚拟现实设备遮挡人脸问题的深度学习图像修补方案，使用户在虚拟世界中的面部外观更加逼真。

    Oct, 2022

  • 大范围眼部遮挡下的身份保持人脸修复

    本研究提出了一种基于深度学习的面部修复方法，能够在大面积遮挡的情况下实现多角度视角的面部完成重构，并保持面部的身份特征。与传统的面部修复方法不同，该方法基于生成网络，具有特定的约束条件，能够合成具有一致身份特征的连贯面部图像，拥有更好的稳定性和合成技巧。

    Jul, 2018

  • 用眼部追踪相机在虚拟现实中识别面部表情

    本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

    Jul, 2017

  • E2F-Net：通过 StyleGAN 潜空间进行眼睛到面部修补

    该研究提出了一种基于生成对抗网络的新模型（E2F-Net），通过从眼部至面部的区域提取身份和非身份特征，并将其映射到预训练的 StyleGAN 生成器的潜空间中，实现面部修复和重构。通过大量实验证明，该方法在较少的训练和监督努力的情况下成功重建了具有高质量的整个面部，超过了当前的技术水平。

    Mar, 2024

  • FaceVR：虚拟现实中实时面部再现和眼神控制

    提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

    Oct, 2016

  • FaceEraser：用于增强现实的面部部位消除

    本篇论文提出了一种新的数据生成技术来支持面部部位的移除，并使用一种新的网络架构达到更好的修复效果，以支持面向增强现实的应用。

    Sep, 2021

  • Head2Head++: 深度人脸属性再定向

    利用 3D 几何和生成对抗网络设计了一种新的深度学习架构，用于实现面部和头部再现任务，通过全新的序列生成器和动态判别器网络，可以以几乎实时的速度（18 fps）以逼真和忠实的方式成功转移来自源视频的面部表情、头部姿态和眼神到目标主体中。

    Jun, 2020

  • 沉浸式远程存在化人物的虚拟现实面部动画

    本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

    Apr, 2023