Nov, 2022

使用肌肉运动和面部流形嵌入检测（隐藏的）视频情绪

PDF
TL;DR本文提出了一种新的非侵入式、易于扩展的方法，用于从人脸视频中检测情感，该方法通过脸部流形检测精确定位视频中的人脸，并采用局部脸部流形嵌入创建用于测量微小肌肉运动的公共域，通过数字图像散斑相关和光流算法计算面部微动的模式，然后将相应的矢量场映射回原始空间，并叠加在视频的原始帧上。最终的结果包括关于肌肉运动方向的附加信息，并使用该方法训练了一个用于从视频中进行情感分类的最新网络 -- 帧关注网络（FAN），该方法成功地提高了情感检测的性能。
发现论文，激发创造
  • 面部视频的深度语义处理

    本文提出了一种基于神经渲染和基于 3D 面部表情建模的方法，支持语义视频操作，可以通过改变和控制面部表情实现交互式操作，实现了有希望的逼真效果，并且引入了用户友好的交互 AI 工具，可以处理关于特定部分的输入视频中期望的表情操作的可读的语义标签，并合成逼真的操作视频。

    Nov, 2021

  • HTNet 微表情识别

    面部表情与肌肉收缩相关，微表情识别中，肌肉运动通常是微妙的，对当前面部情感识别算法性能产生负面影响。本文提出了一种层次 Transformer 网络 (HTNet) 来识别关键的面部肌肉运动区域，通过局部时间特征和全局面部特征提取层组成。实验证明，该方法在四个公开的微表情数据集上优于以前的方法并提供了相关代码和模型。

    Jul, 2023

  • 基于视频的面部微表情分析：数据集，特征和算法调查

    该研究论文系统概述了基于视频的微表情分析，讨论了其神经心理学基础、数据集、特征、算法、应用和评估，之后提出了一个更完整的、适用范围更广的数据集，并进行了方法比较和未来研究方向的展望。

    Jan, 2022

  • 基于通用流形模型的表情片段学习及其在动态面部表情识别中的应用

    本文提出了一种基于流形建模和表情单元的方法来解决动态表情识别中的时间对齐和动态表示问题，并通过磨合模型来统一所有空间 - 时间流形。该方法在四个公共表情数据库上进行评估，并在所有情况下均比已知的最先进技术表现出更好的性能。

    Nov, 2015

  • 一种面部表情相似度的紧凑嵌入

    通过收集大规模的人脸数据集，我们使用神经网络在一个压缩的嵌入空间中描述面部表情，并取得了在表情检索、相册摘要和情绪识别等各种应用中的良好表现。

    Nov, 2018

  • 视频面部表情识别的框架注意力网络

    本文提出了 Frame Attention Networks（FAN）来自动突出视频中具有区分度的帧，进行面部特征的集成，并在 CK + 和 AFEW8.0 数据集上展开了广泛的实验，其效果表现出优越的性能，超过了基于 CNN 的其他方法并在 CK + 上取得了最优秀的性能。

    Jun, 2019

  • Face-GPS: 视频中量化面部肌肉动态的综合技术

    引入一种新颖的方法，结合了微分几何、核平滑和谱分析，以量化面部肌肉活动，用于广泛可访问的视频录制，如个人智能手机。该方法强调实用性和可访问性，具有在国家安全和整形外科领域的潜在应用。此外，它还提供了中风、贝尔氏麻痹和听神经瘤等疾病的远程诊断和监测，并且能够准确识别和分类从明显到微妙的情绪。所提出的面部肌肉分析技术是对深度学习方法的可解释性替代和面部肌肉电图（fEMG）的非侵入性替代。

    Jan, 2024

  • 基于面部先验的微表情生成的一阶动作模型

    通过运动模式驱动目标面部生成微表情视频，使用 CASME II、SAMM 和 SMIC 数据集训练的模型在 Facial Micro-Expression Challenge 2021 中获得第一名，并由三位拥有面部动作编码系统认证的专家验证了其卓越的性能。

    Aug, 2023

  • 使用深度学习识别面部微表情的人物识别

    本研究旨在探究面部微表情作为软生物识别的有效性并提出一种深度学习的方法来提高其在人体识别方面的应用，实验结果显示该方法与现有的基准相比，可以显著提高识别准确性。

    Jun, 2023

  • MIMAMO Net：将微运动和宏运动整合在一起的视频情感识别模型

    本文提出了一种称为 MIMAMO（Micro-Macro-Motion）网络的双流递归网络，将微动作和宏动作特征相结合，以改进视频情感识别，并在两个视频情感数据集上实现了最先进的性能。

    Nov, 2019