这篇论文概述了 SemEval-2024 任务 3 的目标，即从对话中提取所有情绪和其对应原因的对，并介绍了顶级团队的系统以及参与者的发现。

May, 2024

提出了一种基于句子标签和序列标签问题的模型，通过对话中涉及的多个模态（文本、音频和视觉模态）的独立话语以及导致情绪的相应话语来解决多模态情绪原因分析任务，并对使用不同编码器（包括 BiLSTM）的基准线进行了比较研究，并最终添加了 CRF 层以更有效地建模相邻话语之间的相互依赖关系，其在任务的官方排行榜上排名第 8，F1 得分为 0.1759。

Apr, 2024

本研究提出了一个多阶段框架，旨在通过目标情绪生成情绪并提取情绪的因果对。我们的方法在竞赛中在两个子任务中均获得第一名。

Apr, 2024

本文以 SemEval-2023 任务 3 “对话中多模态情绪因果分析竞赛” 的参赛报告为基础，着重从对话中提取情绪 - 原因二元组。具体而言，我们的方法通过结合经过微调的 GPT-3.5 实现情绪分类和基于 BiLSTM 的神经网络实现原因检测。在子任务 1 的排名中，我们获得第二名，并通过最高加权平均比例 F1 分数 0.264 展示了我们方法的有效性。

Apr, 2024

我们参与了 SemEval 2024 任务 3，重点研究了对话中的多模态情绪因果分析。我们设计了一个早期原型系统，使用基于图的依存解析方法来识别多方对话中的因果情绪关系。我们的模型包括一个基于神经变换器的编码器，用于提供多模态对话数据的语境，以及一个基于图的解码器，用于生成因果图的邻接矩阵得分。在 Subtask 1 中，我们在 15 个有效和官方的提交中排名第 7，仅使用文本输入。在后期评估中，我们还讨论了在 Subtask 2 中使用多模态输入的参与情况。

May, 2024

本论文提出了我们为 SemEval-2024 任务 3 开发的系统:“对话中多模态情绪原因分析的竞赛”。通过集成文本、音频和视频等多种模态有效地捕捉人际对话中的情绪需要克服这些多样模态的复杂性，这为开发高效的多模态情绪原因分析系统带来了挑战。我们的两步骤框架采用了两种不同的方法。在方法 1 中，我们采用了针对情绪和原因预测的两个独立的 Llama 2 模型的指令微调。在方法 2 中，我们使用了 GPT-4V 来描述基于对话的视频，并使用 GPT 3.5 使用注释对话进行上下文学习。我们的系统获得了第四名，并且系统消融实验证明我们提出的解决方案实现了显著的性能提升。所有的实验代码都可以在 GitHub 上找到。

Mar, 2024

通过提出一种统一多模态情绪识别和情绪 - 原因分析框架 (UniMEEC)，将多模态情绪识别和情绪 - 原因对提取作为两个掩模预测问题，以增强情绪和情绪原因之间的交互，并在任务间共享提示学习，通过任务特定的层次化上下文聚合控制信息流向任务，该方法在四个公共基准数据集上实验证明了在多模态情绪识别和情绪 - 原因对提取任务上相对于现有最先进方法的一致改进。

Mar, 2024

该研究提出了一种基于神经网络的情感预测模型 MuTEC，旨在从对话中提取情感表达的原因，并针对此目标设计了情感原因跨度与因果语句判定的多任务学习框架，比现有基线模型表现更好

Nov, 2022

提出了一种基于多个输入模态的学习方法 M3ER，旨在实现情绪识别，其采用数据驱动的乘积融合方法来结合来自多个模态的线索，抑制噪音，提高准确性，并取得了成功的实验验证。

Nov, 2019

该研究使用多模态特征测试了三个情感识别子挑战任务，提供了具有竞争力的基础模型，为提高情感识别的鲁棒性和发展实际应用技术提供了一些新思路。

Apr, 2023