本研究提出 Multilingual MELD（M-MELD）数据集和一种使用序列和对话语境的 DiscLSTM 方法，旨在进行跨语言的情感识别，其计算效率高且表现优于现有文献中大多数单模态文本方法。

Mar, 2022

本文强调在语音翻译中考虑情感的重要性，并介绍了 MELD-ST 数据集，该数据集用于情感感知的语音翻译任务，包括英至日和英至德语言对。每个语言对都包含约 10,000 个用 MELD 数据集进行情感标注的话语。对数据集使用 SeamlessM4T 模型进行基线实验发现，在某些情况下，通过加入情感标签进行微调可以提高翻译性能，进一步突显了情感感知语音翻译系统需要进一步研究的重要性。

May, 2024

该研究提出了一个含有 7 种情感类别的中文多模态多场景多标签情感对话数据集，命名为 M3ED，用于帮助跨文化情感分析与识别，并提供了多模态上下文感知框架（MDI）以进行情感识别。

May, 2022

本文介绍了 EmotionLines 数据集，这是第一个只基于文本内容在每个对话中为所有话语进行情感标注的数据集，共包括来自 Friends 电视剧和私人 Facebook 信使对话的 2000 个对话中的 29245 种话语，并为 EmotionLines 中的情感检测模型提供了多个强基线。

Feb, 2018

本研究提出了一个新的任务 MOD，该任务需要模型能够理解多模态元素和其背后的情感，为此建立了一个大规模的开放域多模态对话数据集，其中包含约 45K 个对话和 606K 个话语，平均每个话语都包含 4 个互联网模因，并用相应的情感进行了注释。研究还提出了一种简单而有效的方法，该方法利用统一的生成网络解决 MOD 任务。实验结果表明，该方法能够在训练时实现包括文本和互联网模因的表达式交流。

Sep, 2021

本文介绍了一个新的多模态生物医学实验方法分类数据集 MELINDA，并使用各种最先进的自然语言处理和计算机视觉模型进行了基准测试和分析，结果表明多模态模型优于单模态模型，但仍需要改进，特别是在视觉和语言语义互相理解和转化方面以及在处理低资源域时。该文还发布了数据集和基准测试，以便未来的多模态学习研究，特别是针对科学领域的应用的目标改进的激励。

Dec, 2020

通过教师引导的多模融合网络（TelME），本文提出了一种在对话系统中实现情绪识别的方法，通过跨模态知识蒸馏来提高非语言模态在情绪识别中的功效，并使用学生网络支持教师实现多模态特征的结合。在 ERC 的多说话人对话数据集 MELD 中，TelME 实现了最先进的性能。通过额外的实验证明了我们组件的有效性。

Jan, 2024

为了解决情感识别中的单模态方法在捕捉真实世界情感表达复杂性方面的局限性，我们提出了 MERR 数据集和 Emotion-LLaMA 模型，通过整合音频、视觉和文本输入，显著提高情感识别能力，并在 evaluations 中取得了优异的成绩。

Jun, 2024

本文构建了一个多模态共情数据集，并提出了三类标签来描述心理治疗师与客户之间的共情程度，同时使用了三种典型方法来预测共情。

May, 2023

通过设计多模态生成对抗网络、深度联合变分自编码器和多任务图神经网络等方法，提出了一种处理情感识别中数据不平衡的模型，取得了跨模态情感识别的一定性能改进，尤其在恐惧和厌恶情绪标签的准确性和 F1 值上提高了 10％到 20％。

Dec, 2023