提出了一个多模态的语音情感对话数据集 MELD，包含超过两个演讲者的大规模多模态多方情感对话，并且证明了情境和多模态信息对会话中的情感识别的重要性。

Oct, 2018

设计并建立了一个包括发音运动学、声学、声门和面部微表情的多模态情感汉语数据库，描述了从语料库设计、被试选择、录音细节和数据处理等方面的详细信息。通过对维度注释数据的统计分析验证了维度注释的有效性。使用支持向量机、卷积神经网络和深度神经网络计算了这七种情感的识别率，结果显示仅使用声学数据识别七种情感的平均识别率约为 82%。因此，该数据库具有高质量，可用作重要的语音分析研究来源，特别是用于多模态情感语音分析任务。

Jan, 2024

本研究提出 Multilingual MELD（M-MELD）数据集和一种使用序列和对话语境的 DiscLSTM 方法，旨在进行跨语言的情感识别，其计算效率高且表现优于现有文献中大多数单模态文本方法。

Mar, 2022

提出了一种基于多个输入模态的学习方法 M3ER，旨在实现情绪识别，其采用数据驱动的乘积融合方法来结合来自多个模态的线索，抑制噪音，提高准确性，并取得了成功的实验验证。

Nov, 2019

本文介绍了 MMDialog 数据集、提出并规范了两个基于检索和生成场景的反应生成任务，还构建了两个基线，并提出了一种新的评估指标 MM-Relevance，用于衡量多模态反应。

Nov, 2022

研究表明，说话者的个性和情感对对话有重要影响，因此考虑个性和情感的影响对于对话生成非常重要。为了解决这个问题，我们提出了 CPED: 一个大型、个性化和情感化的对话数据集，包含了与移情和个性特征相关的多源知识，涵盖性别、大五人格特质、13 种情感、19 种对话行为和 10 个场景。该数据集包含了来自 40 个电视节目的 392 个说话者的 12,000 多个对话，是新一代对话人工智能研究的新开放基准。

May, 2022

本文强调在语音翻译中考虑情感的重要性，并介绍了 MELD-ST 数据集，该数据集用于情感感知的语音翻译任务，包括英至日和英至德语言对。每个语言对都包含约 10,000 个用 MELD 数据集进行情感标注的话语。对数据集使用 SeamlessM4T 模型进行基线实验发现，在某些情况下，通过加入情感标签进行微调可以提高翻译性能，进一步突显了情感感知语音翻译系统需要进一步研究的重要性。

May, 2024

本研究提出了一个新的任务 MOD，该任务需要模型能够理解多模态元素和其背后的情感，为此建立了一个大规模的开放域多模态对话数据集，其中包含约 45K 个对话和 606K 个话语，平均每个话语都包含 4 个互联网模因，并用相应的情感进行了注释。研究还提出了一种简单而有效的方法，该方法利用统一的生成网络解决 MOD 任务。实验结果表明，该方法能够在训练时实现包括文本和互联网模因的表达式交流。

Sep, 2021

本文介绍了一个新的跨方言语音数据集，用于英语印度、尼日利亚和美国口音。该数据集通过提示参与者执行一系列短的信息分享任务来平衡开放式对话和面向任务的对话，以促进量化的跨方言比较，并避免对方言特征表现的限制性任务结构的强制性。初步分析表明该数据集在语法和话语标记的使用上有显着差异。该数据集包括超过 20 个小时的音频和超过 200,000 个正字法转录的标记，并已公开发布。

May, 2023

介绍了一种名为 XED 的多语种细粒度情感数据集，其中包含人工标注的芬兰语（25k）和英语句子（30k），以及其他 30 种语言的预测注释，并使用 Plutchik 的核心情感方法注释该数据集，并添加了中性标签以创建一个多标签多类数据集。使用特定于语言的 BERT 模型和 SVM 进行仔细评估，表明该数据集与其他相似数据集相当，因此是情感分析和情感检测的有用工具。

Nov, 2020