IJCAINov, 2018

面部表情和周边生理融合解码个体化情感体验

PDF
TL;DR本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。
multimodal approachfacial movementsperipheral physiological signalsaffective experiencesrecurrence network
发现论文，激发创造
  • 多模态潜在情绪识别：微表情与生理信号

    提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

    Aug, 2023

  • 超复模态脑电和周边生理信号的情绪识别

    通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

    Oct, 2023

  • 可解释的多模态情感识别：利用面部特征和生理信号

    本文介绍了一种融合了多种多样信息的多模态框架，通过将来自视觉面部特征和视频输入中提取的 rPPG 信号的信息融合从而实现情感理解。基于排列特征重要性分析的解释性技术用于计算 rPPG 和视觉模态对将给定视频分类到特定情感类别的贡献。IEMOCAP 数据集上的实验表明，从多个模态组合的互补信息可以提高情感分类性能。

    Jun, 2023

  • 利用多模态场景信息的情感感知

    利用预训练视觉语言模型从图像中提取前景环境描述，并结合其他多元素素进行情感预测，在自然环境和电视秀等数据集中取得了可行的结果。

    Mar, 2023

  • 基于集成学习的评估情感体验和生理变化动态

    测量和数据分析等最新技术的应用为解决情感体验和生理变化之间的相似性问题提供了希望，开放科学和开放数据实践以及面向学术界的数据分析挑战也是解决这一问题的有希望的工具。

    Dec, 2023

  • 基于多模态深度模型的电影情感反应预测

    本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

    Sep, 2019

  • 深度神经网络增强：生成面孔进行情感分析

    本文提出了一种新的方法，用于合成面部情感，接受中性 2D 人脸图像、基本面部表情或 VA 头像建议，以及 2D VA 空间中的路径作为输入，采用 3D 可变模型，对中性人脸图像进行形变和添加颜色，使生成的面孔带有特定情感，用于数据增强和深度神经网络的联调。

    Nov, 2018

  • 评估应用于婴儿情感识别的时间模式

    本研究探讨了影响婴儿情绪识别准确度的因素，并证明在处理时间和数据缺失方面，采用多模态模型（脸部和身体特征）胜过单模态模型（仅脸部特征）以实现持续情绪识别。

    Sep, 2022

  • PERI: 野外场景中基于部位的情感识别

    利用面部表情和身体姿势，提出了方法 PERI，在情感识别网络的中间特征上使用上下文注入块。与现有方法相比，PERI 在 EMOTIC 数据集上实现了显着改进。

    Oct, 2022

  • 情感过程：用于情感和面部表情识别的时间上下文随机建模

    该研究提出了一种基于神经过程的方法，使用全局潜在变量模型的概率性语境表示与任务特定预测结合，智能地选择时间上下文，并在四个数据库上进行验证，在情感识别等方面取得了比强基线和现有方法更为一致的进步。

    Mar, 2021