我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

Jul, 2023

本文介绍了一种融合了多种多样信息的多模态框架，通过将来自视觉面部特征和视频输入中提取的 rPPG 信号的信息融合从而实现情感理解。基于排列特征重要性分析的解释性技术用于计算 rPPG 和视觉模态对将给定视频分类到特定情感类别的贡献。IEMOCAP 数据集上的实验表明，从多个模态组合的互补信息可以提高情感分类性能。

Jun, 2023

提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

Aug, 2023

基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

May, 2024

通过多模态生理信号的 Siamese 架构，通过多尺度对比，学习抑郁症识别的多模态生理信号的表示学习框架，能够提高对刺激任务相关的语义表示的学习，且在公开数据集和自收集的多模态生理信号数据集上优于现有模型，具备对多模态时序下游任务的迁移能力。

Jun, 2024

本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。

Nov, 2018

本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

May, 2023

本文研究了如何在音乐欣赏中通过脑电图和音乐特征相结合的多模态融合方法提高情感识别的准确性，结果表明多模态融合方法能够优于单一模态，并提出了未来融合研究的方向。

Nov, 2016

本研究提出了一种新颖的两流异构图递归神经网络，名为 HetEmotionNet，该网络可以融合多模态生理信号用于情感识别，并在两个实际数据集上取得了比现有基准更好的性能。

Aug, 2021

本研究采用凸优化的 EDA 方法将情绪识别中所需的动态和稳态特征分离，提出了一种融合了个体 EDA 特征和外部音乐特征的一维残余时间和通道注意力网络的多模态框架，证明其比现有模型更有效。

Aug, 2020