多模态情感识别是人工智能中的重要研究课题，为推动该领域的发展，我们计划组织一系列关于情感识别的挑战活动，其中包括扩大数据集规模、引入新的跟踪领域和鼓励参与者描述角色的情感状态。

Apr, 2024

本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

Jul, 2022

通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

Dec, 2023

我们提出了一个用于识别离散和维度情感的新框架，通过从基础模型中提取的深度特征作为原始视频的鲁棒声学和视觉表示，设计了三种基于注意力引导特征汇集的不同结构用于深度特征融合，并在解码阶段引入了联合解码结构用于情感分类和价值回归。我们还设计了基于不确定性的多任务损失来优化整个过程。最后，通过在后验概率级别上结合三种不同的结构，我们获得了离散和维度情感的最终预测。当在多模态情感识别挑战数据集（MER 2023）上进行测试时，该提出的框架在情感分类和价值回归方面都取得了一致的改进。我们的最终系统达到了最新的性能并在 MER-MULTI 子挑战中排名第三。

Sep, 2023

提出了一种基于跨模态分布匹配的半监督多模态情感识别模型，该模型利用丰富的未标记数据增强模型训练，实验结果表明该模型能够有效地结合多模态并利用未标记数据提高情感识别性能，并在同等条件下优于其他最先进的方法。

Sep, 2020

通过引入噪声和可变自动编码器（Variational AutoEncoder）结构，提出了一种新的噪声鲁棒多模情感识别模型（NMER model），能够有效地从包含噪声的不完整数据中学习到鲁棒的多模态联合表示，实验证明 NMER 在 IEMOCAP 数据集上胜过最先进的多模情感识别系统。

Sep, 2023

提出了一种名为 TAILOR 的多模态多标签情感识别方法，旨在增强各模态的区分能力和丰富每个标签的语义信息；该方法使用对抗式多模态精炼模块和 BERT-like 跨模态编码器相结合的方式进行表征提炼，并采用标签引导的解码器来自适应生成每个标签的定制表示。在 CMU-MOSEI 数据集上的实验结果表明，TAILOR 优于现有算法。

Jan, 2022

提出了一种基于多个输入模态的学习方法 M3ER，旨在实现情绪识别，其采用数据驱动的乘积融合方法来结合来自多个模态的线索，抑制噪音，提高准确性，并取得了成功的实验验证。

Nov, 2019

本文提出了一种多模态多任务学习的情感识别方法，包括文本和声学模态的早期融合和自我注意力，使用动态融合网络用于语音编码器，得到了目前最先进的性能结果。

Mar, 2022

本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

Aug, 2022