Jul, 2017

用眼部追踪相机在虚拟现实中识别面部表情

PDF
TL;DR本文介绍了一种利用虚拟现实技术中红外监视器拍摄到的眼部图像，从而在遮挡部分面部的情况下，自动推断用户的表情，并生成动态的虚拟头像作为用户的表情代理。实验结果表明，该算法的准确度显示出性能优于人类评估者。
virtual realityfacial expressionsalgorithmir gaze-tracking cameradynamic avatars
发现论文，激发创造
  • 虚拟现实游戏中的面部情感识别

    使用卷积神经网络在遮住眼睛和眉毛的全脸图像中准确识别七种不同的情绪，通过对虚拟现实游戏中玩家情感数据的收集与分析，提高游戏玩法分析，帮助游戏开发者创建更具吸引力和沉浸感的游戏体验。

    Dec, 2023

  • 基于迁移学习的虚拟现实头戴式显示器下部分遮挡下的面部表情识别

    本文提出了一个基于几何模型的方法，在虚拟现实场景下戴着头戴式 VR 耳机困难的面部表情识别问题，在 FER + 和 RAF-DB 数据集上使用迁移学习方法，并在根据佩戴一款普通 VR 设备所导致的实际遮挡情况修改的基准数据集上展示了令人满意的识别结果。

    Aug, 2020

  • FaceVR：虚拟现实中实时面部再现和眼神控制

    提出了一种基于图像的新方法 FaceVR，该方法可基于自我再现实现 VR 视频会议，通过实时面部动作捕捉算法和单目视频的新数据驱动方法，FaceVR 具备近乎逼真的成像效果和改变面部表情和目光方向的功能。

    Oct, 2016

  • 沉浸式远程存在化人物的虚拟现实面部动画

    本文提出了一种适用于严格视图需求的 VR 面部动画的实时管道，从运营商的序列中提取操作员特定的外观信息，并将其映射到目标表情和头部姿态上，同时讨论了性能。

    Apr, 2023

  • 通过分离三维表情与身份来实现野外实时面部表情识别

    本研究提出了一种基于深度学习和面部视频数据的情感检测方法，使用 Convolutional Neural Network 训练一个能够估计三维表情模型参数的模型，并结合情感分类器，能够高效准确地从动态图像中识别面部表情，且在基本情感和压力情感的识别任务中超过了其他方法。

    May, 2020

  • 基于注意力的虚拟现实面部动画与视觉口腔摄像头引导的沉浸式远程互动化身

    在虚拟现实环境中，我们提出了一种使用关键点和嘴部摄像头的混合方法来进行面部动画，以传达情感信号和模拟与特定个体互动的感知。我们的方法通过捕获两个短视频进行快速注册，利用多个源图像来覆盖不同的面部表情，并将嘴部摄像头信息注入潜在空间以解决关键点的歧义并实现更广泛范围的嘴部表情动画。该方法在质量、能力和时间一致性方面优于基线，并在 ANA Avatar XPRIZE 决赛中的胜利中突显了面部动画的贡献。

    Dec, 2023

  • Thelxinoë：使用瞳孔测量和机器学习识别人类情绪

    使用瞳孔测量的虚拟现实情绪识别方法，通过分析虚拟现实头戴设备对视觉和听觉刺激的瞳孔直径响应，从时域、频域和时频域提取关键特征并利用特征选择获取最重要的特征，再应用集成学习技术中的梯度提升模型，通过特征工程将准确率从 84.9% 提升至 98.8%，该研究为 Thelxino"e 框架作出了显著贡献，旨在通过整合多个传感器数据实现更真实和情感共鸣的触感交互，研究结果为进一步发展沉浸式交互虚拟现实环境以及虚拟触觉技术打开了新的可能性。

    Mar, 2024

  • EmotioNet 挑战：在野外识别面部情感表达

    本文介绍了 EmotioNet 挑战的方法和结果，其中第一项挑战测试了当前计算机视觉算法在自动检测表情动作单元（AU）方面的能力，第二项挑战测试了算法在面部表情图像的情感分类方面的能力，研究表明当前机器学习算法在这两个任务中无法可靠地解决问题，计算机视觉算法在检测动作单元时的效果比检测情感分类时的效果要好。

    Mar, 2017

  • 使用神经网络进行挑战人群面部表情的情感识别

    这篇论文提出了一种通过图像进行面部表情的深度分类方法，采用了深度前馈人工神经网络。该方法可用于良好的应用，包括视觉检查和安全措施。

    May, 2023

  • 面部表情感知的 XR 应用中 HMD 移除的视频修复技术

    基于生成对抗网络（GANs）的表情感知视频修复（EVI-HRnet）网络通过使用用户的面部关键点和单一无遮挡参考图像，有效地填补头戴式显示器屏蔽的信息，并通过引入面部表情识别损失函数实现情感保留，从而实现了从面部视频中删除头戴式显示器同时保持主题的面部表情和身份，并在修复后的帧之间保持时间一致性。这种轻量级框架为头戴式显示器遮挡的去除提供了实用的方法，无需额外的硬件，有潜力增强各种协作的扩展性应用。

    Jan, 2024