MMAug, 2020

基于迁移学习的虚拟现实头戴式显示器下部分遮挡下的面部表情识别

PDF
TL;DR本文提出了一个基于几何模型的方法，在虚拟现实场景下戴着头戴式 VR 耳机困难的面部表情识别问题，在 FER + 和 RAF-DB 数据集上使用迁移学习方法，并在根据佩戴一款普通 VR 设备所导致的实际遮挡情况修改的基准数据集上展示了令人满意的识别结果。
facial expression recognitionconvolutional neural networkvirtual realityhead-mounted displayocclusion
发现论文，激发创造
  • 虚拟现实游戏中的面部情感识别

    使用卷积神经网络在遮住眼睛和眉毛的全脸图像中准确识别七种不同的情绪，通过对虚拟现实游戏中玩家情感数据的收集与分析，提高游戏玩法分析，帮助游戏开发者创建更具吸引力和沉浸感的游戏体验。

    Dec, 2023

  • 用眼部追踪相机在虚拟现实中识别面部表情

    本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。

    Jul, 2017

  • 基于混合模型的实时情绪识别与预测

    本研究提出了一种结合深度卷积神经网络（DCNN）和 Haar Cascade 深度学习架构的混合模型，用于将实时和数字面部图像分类到七种面部表情类别之一。实验结果表明，与其他模型相比，该架构在分类性能上具有显著优势，并且准确率高达 70％，执行时间短，为 2098.8 秒。

    Jun, 2022

  • 面部表情感知的 XR 应用中 HMD 移除的视频修复技术

    基于生成对抗网络（GANs）的表情感知视频修复（EVI-HRnet）网络通过使用用户的面部关键点和单一无遮挡参考图像，有效地填补头戴式显示器屏蔽的信息，并通过引入面部表情识别损失函数实现情感保留，从而实现了从面部视频中删除头戴式显示器同时保持主题的面部表情和身份，并在修复后的帧之间保持时间一致性。这种轻量级框架为头戴式显示器遮挡的去除提供了实用的方法，无需额外的硬件，有潜力增强各种协作的扩展性应用。

    Jan, 2024

  • 潜在 - OFER：用潜在向量进行遮挡的面部表情识别的检测、遮蔽和重构

    提出了一种名为 Latent-OFER 的方法，通过使用视觉变换器 (ViT) 和卷积神经网络 (CNN) 进行遮挡部分的检测和修复，以及基于 CNN 的类激活映射提取与表情相关的信息，从而改善了遮挡面部表情识别的准确性。实验结果表明该方法优于现有方法。

    Jul, 2023

  • 基于增强式深度 3D 卷积神经网络的人脸表情识别

    本篇研究提出了在视频中进行情感识别的 3D 卷积神经网络方法，使用 3D Inception-ResNet 层及 LSTM 单元，从面部图像中提取空间关系和不同帧之间的时间关系，并利用面部关键点作为输入，该方法在四个公开数据库上的表现超过了现有最先进技术。

    May, 2017

  • 深度面部表情识别研究综述

    深度神经网络在面部表情识别中的应用、数据集和算法，针对过拟合和灯光、头部姿态等问题，分析和总结静态和动态图像序列的最新模型和性能，并探讨未来的发展方向和挑战。

    Apr, 2018

  • 面部去遮挡网络用于虚拟远程系统

    本研究提出了一种解决虚拟现实设备遮挡人脸问题的深度学习图像修补方案，使用户在虚拟世界中的面部外观更加逼真。

    Oct, 2022

  • 深情感：利用注意力卷积网络进行面部表情识别

    该文介绍了针对面部表情识别问题，提出了一种基于注意力卷积网络的深度学习方法，并采用可视化技术确定了识别不同情绪对应的重要面部区域，相比先前的模型在多个数据集上都取得了明显的改进。

    Feb, 2019

  • FaceVR：虚拟现实中实时面部再现和眼神控制

    提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

    Oct, 2016