该研究使用多模态特征测试了三个情感识别子挑战任务，提供了具有竞争力的基础模型，为提高情感识别的鲁棒性和发展实际应用技术提供了一些新思路。

Apr, 2023

通过引入噪声和可变自动编码器（Variational AutoEncoder）结构，提出了一种新的噪声鲁棒多模情感识别模型（NMER model），能够有效地从包含噪声的不完整数据中学习到鲁棒的多模态联合表示，实验证明 NMER 在 IEMOCAP 数据集上胜过最先进的多模情感识别系统。

Sep, 2023

通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

Dec, 2023

本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

Jul, 2022

提出了一种基于跨模态分布匹配的半监督多模态情感识别模型，该模型利用丰富的未标记数据增强模型训练，实验结果表明该模型能够有效地结合多模态并利用未标记数据提高情感识别性能，并在同等条件下优于其他最先进的方法。

Sep, 2020

本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

Mar, 2022

为了解决情感识别中的单模态方法在捕捉真实世界情感表达复杂性方面的局限性，我们提出了 MERR 数据集和 Emotion-LLaMA 模型，通过整合音频、视觉和文本输入，显著提高情感识别能力，并在 evaluations 中取得了优异的成绩。

Jun, 2024

通过利用标签信息进行多模态情绪识别，我们提出了一种新的方法，通过标签 - 令牌和标签 - 帧交互来学习每个话语的标签增强文本 / 语音表示，并设计了一种新的标签引导的注意融合模块，以融合具有标签意识的文本和语音表示进行情绪分类，实验证明该方法优于现有基线并取得了最新的最佳性能。

Sep, 2023

提出了一种名为 TAILOR 的多模态多标签情感识别方法，旨在增强各模态的区分能力和丰富每个标签的语义信息；该方法使用对抗式多模态精炼模块和 BERT-like 跨模态编码器相结合的方式进行表征提炼，并采用标签引导的解码器来自适应生成每个标签的定制表示。在 CMU-MOSEI 数据集上的实验结果表明，TAILOR 优于现有算法。

Jan, 2022

我们提出了一个用于识别离散和维度情感的新框架，通过从基础模型中提取的深度特征作为原始视频的鲁棒声学和视觉表示，设计了三种基于注意力引导特征汇集的不同结构用于深度特征融合，并在解码阶段引入了联合解码结构用于情感分类和价值回归。我们还设计了基于不确定性的多任务损失来优化整个过程。最后，通过在后验概率级别上结合三种不同的结构，我们获得了离散和维度情感的最终预测。当在多模态情感识别挑战数据集（MER 2023）上进行测试时，该提出的框架在情感分类和价值回归方面都取得了一致的改进。我们的最终系统达到了最新的性能并在 MER-MULTI 子挑战中排名第三。

Sep, 2023