PERI: 野外场景中基于部位的情感识别
提出了一种利用场景和语义特征的多模态情绪识别方法，通过结合人物特征和环境上下文，使用 EmbraceNet 提取图像特征，并在 EMOTIC 数据集上验证了方法的有效性。
Aug, 2023
本研究提出了一种基于深度学习和面部视频数据的情感检测方法，使用 Convolutional Neural Network 训练一个能够估计三维表情模型参数的模型，并结合情感分类器，能够高效准确地从动态图像中识别面部表情，且在基本情感和压力情感的识别任务中超过了其他方法。
May, 2020
本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。
Nov, 2018
本文介绍了一种融合了多种多样信息的多模态框架，通过将来自视觉面部特征和视频输入中提取的 rPPG 信号的信息融合从而实现情感理解。基于排列特征重要性分析的解释性技术用于计算 rPPG 和视觉模态对将给定视频分类到特定情感类别的贡献。IEMOCAP 数据集上的实验表明，从多个模态组合的互补信息可以提高情感分类性能。
Jun, 2023
本文介绍了 EmotioNet 挑战的方法和结果，其中第一项挑战测试了当前计算机视觉算法在自动检测表情动作单元（AU）方面的能力，第二项挑战测试了算法在面部表情图像的情感分类方面的能力，研究表明当前机器学习算法在这两个任务中无法可靠地解决问题，计算机视觉算法在检测动作单元时的效果比检测情感分类时的效果要好。
Mar, 2017
本研究提出多个模型联合训练并在测试中使用姿势感知权重的方法解决全身人物识别中的姿态变化问题。同时，使用网络对多个身体区域进行联合优化，为解决不同场景下的人物识别问题提出了新的基准测试，并证明了该方法在 PIPA 数据集中取得的高准确率。
May, 2017
本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。
Mar, 2023
在这篇研究论文中，我们使用最近的大型视觉语言模型来探讨两种主要方法：图像字幕生成与仅使用语言的 LLM，以及零样本和微调设置下的视觉语言模型。我们在 Emotions in Context（EMOTIC）数据集上评估这些方法，并展示出即使在小型数据集上进行微调，视觉语言模型的性能也能显著超过传统的基准方法。我们的研究结果旨在帮助未来的机器人和智能系统对情感进行敏感的决策和交互行为。
May, 2024