本论文提出了我们为 SemEval-2024 任务 3 开发的系统:“对话中多模态情绪原因分析的竞赛”。通过集成文本、音频和视频等多种模态有效地捕捉人际对话中的情绪需要克服这些多样模态的复杂性，这为开发高效的多模态情绪原因分析系统带来了挑战。我们的两步骤框架采用了两种不同的方法。在方法 1 中，我们采用了针对情绪和原因预测的两个独立的 Llama 2 模型的指令微调。在方法 2 中，我们使用了 GPT-4V 来描述基于对话的视频，并使用 GPT 3.5 使用注释对话进行上下文学习。我们的系统获得了第四名，并且系统消融实验证明我们提出的解决方案实现了显著的性能提升。所有的实验代码都可以在 GitHub 上找到。

Mar, 2024

多任务学习在语音情绪识别中的应用与多模态系统和情绪范畴及情绪维度的预测相关，通过跨任务正则化和特征融合提高模型表现。

Dec, 2023

本文介绍了我们在 CVPR 2023：Affective Behavior Analysis in-the-wild (ABAW) 第 5 次研讨会和比赛中进行情感反应强度 (ERI) 估计挑战的方法，通过基于多模态数据提取声学和视觉特征，提高了我们的模型表现能力，并使用 Transformer 编码器进行交叉模态关注机制，从而提高了与基线的 Pearson 相关系数。

Mar, 2023

本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

Feb, 2018

基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

May, 2024

本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

Apr, 2023

多模 ERC 在驱动人机交互发展方面扮演了重要角色，但面临多模态信息融合中的噪声问题以及类别语义相似但样本标签较少的预测问题。为应对这些问题，本研究采用了深度情感线索提取、特征过滤器设计、多模态提示转换器和混合对比学习等策略，实现了更好的多模态融合表现和对少样本标签的处理能力。实验结果证明，所提出的模型在两个基准数据集上优于现有模型。

Oct, 2023

提出了一种基于跨模态分布匹配的半监督多模态情感识别模型，该模型利用丰富的未标记数据增强模型训练，实验结果表明该模型能够有效地结合多模态并利用未标记数据提高情感识别性能，并在同等条件下优于其他最先进的方法。

Sep, 2020

提出了一种新的基于提示和语言模型调整的情感识别模型 CISPER，通过融入上下文信息、交往者情感以及常识知识等要素，可以更加准确地识别对话中的情感表达，明显超过当前最优解。

Jul, 2022

这篇论文概述了 SemEval-2024 任务 3 的目标，即从对话中提取所有情绪和其对应原因的对，并介绍了顶级团队的系统以及参与者的发现。

May, 2024