三星中国研究院 - 北京在 SemEval-2024 任务 3 中的多阶段对话情感原因匹配系统
这篇论文概述了 SemEval-2024 任务 3 的目标，即从对话中提取所有情绪和其对应原因的对，并介绍了顶级团队的系统以及参与者的发现。
May, 2024
提出了一种基于句子标签和序列标签问题的模型，通过对话中涉及的多个模态（文本、音频和视觉模态）的独立话语以及导致情绪的相应话语来解决多模态情绪原因分析任务，并对使用不同编码器（包括 BiLSTM）的基准线进行了比较研究，并最终添加了 CRF 层以更有效地建模相邻话语之间的相互依赖关系，其在任务的官方排行榜上排名第 8，F1 得分为 0.1759。
Apr, 2024
该研究提出了一种基于神经网络的情感预测模型 MuTEC，旨在从对话中提取情感表达的原因，并针对此目标设计了情感原因跨度与因果语句判定的多任务学习框架，比现有基线模型表现更好
Nov, 2022
通过整合文本、音频和视觉模态的专门情感编码器，我们提出了一种新颖的多模态情感识别和多模态情感因果抽取（MER-MCE）框架，与其他顶级团队相比，我们的方法利用模态特定特征来增强情感理解和因果推断，并进行了实验性评估来展示其优势，我们的成绩在加权 F1 得分中排名第三，仅相差 0.0339 分以及第一名队伍，相差 0.0025 分以及第二名队伍。
Mar, 2024
本文以 SemEval-2023 任务 3 “对话中多模态情绪因果分析竞赛” 的参赛报告为基础，着重从对话中提取情绪 - 原因二元组。具体而言，我们的方法通过结合经过微调的 GPT-3.5 实现情绪分类和基于 BiLSTM 的神经网络实现原因检测。在子任务 1 的排名中，我们获得第二名，并通过最高加权平均比例 F1 分数 0.264 展示了我们方法的有效性。
Apr, 2024
本论文提出了我们为 SemEval-2024 任务 3 开发的系统:“对话中多模态情绪原因分析的竞赛”。通过集成文本、音频和视频等多种模态有效地捕捉人际对话中的情绪需要克服这些多样模态的复杂性，这为开发高效的多模态情绪原因分析系统带来了挑战。我们的两步骤框架采用了两种不同的方法。在方法 1 中，我们采用了针对情绪和原因预测的两个独立的 Llama 2 模型的指令微调。在方法 2 中，我们使用了 GPT-4V 来描述基于对话的视频，并使用 GPT 3.5 使用注释对话进行上下文学习。我们的系统获得了第四名，并且系统消融实验证明我们提出的解决方案实现了显著的性能提升。所有的实验代码都可以在 GitHub 上找到。
Mar, 2024
通过提出一种统一多模态情绪识别和情绪 - 原因分析框架 (UniMEEC)，将多模态情绪识别和情绪 - 原因对提取作为两个掩模预测问题，以增强情绪和情绪原因之间的交互，并在任务间共享提示学习，通过任务特定的层次化上下文聚合控制信息流向任务，该方法在四个公共基准数据集上实验证明了在多模态情绪识别和情绪 - 原因对提取任务上相对于现有最先进方法的一致改进。
Mar, 2024
我们参与了 SemEval 2024 任务 3，重点研究了对话中的多模态情绪因果分析。我们设计了一个早期原型系统，使用基于图的依存解析方法来识别多方对话中的因果情绪关系。我们的模型包括一个基于神经变换器的编码器，用于提供多模态对话数据的语境，以及一个基于图的解码器，用于生成因果图的邻接矩阵得分。在 Subtask 1 中，我们在 15 个有效和官方的提交中排名第 7，仅使用文本输入。在后期评估中，我们还讨论了在 Subtask 2 中使用多模态输入的参与情况。
May, 2024