现今，短视频对于信息获取和分享至关重要。鉴于短视频情感数据的缺乏，我们介绍了一个大规模的数据集，名为 eMotions，包含 27996 个视频。我们通过优化人员分配和多阶段注释来减轻主观因素对标签质量的影响。另外，我们通过有针对性的数据采样提供了类别平衡和面向测试的变体。我们提出了一种端到端的基线方法 AV-CPNet，采用视频 Transformer 来更好地学习语义相关表示。我们进一步设计了两阶段的跨模态融合模块，来补充地建模音视频特征之间的相关性。然后，我们应用了包含三种情感极性的 EP-CE 损失来指导模型优化。对于九个数据集的广泛实验结果验证了 AV-CPNet 的有效性。数据集和代码将在此 https URL 开放。

Nov, 2023

本文介绍了我们提出的多模态心情表达数据集，其中使用分层注释策略进行情感表达识别。使用自然连续的方式对 YouTube 视频进行收集，以构建一个公平标准的深度和递归神经模型实验协议。

Mar, 2018

本文介绍了 K-EmoCon 数据集，该数据集支持从多个角度评估社交互动中的持续情感，并包括音频 / 视觉记录、EEG 和外围生理信号等多模态测量。

May, 2020

本文构建了一个多模态共情数据集，并提出了三类标签来描述心理治疗师与客户之间的共情程度，同时使用了三种典型方法来预测共情。

May, 2023

设计并建立了一个包括发音运动学、声学、声门和面部微表情的多模态情感汉语数据库，描述了从语料库设计、被试选择、录音细节和数据处理等方面的详细信息。通过对维度注释数据的统计分析验证了维度注释的有效性。使用支持向量机、卷积神经网络和深度神经网络计算了这七种情感的识别率，结果显示仅使用声学数据识别七种情感的平均识别率约为 82%。因此，该数据库具有高质量，可用作重要的语音分析研究来源，特别是用于多模态情感语音分析任务。

Jan, 2024

本文提出了第一个在线视频情感和主观分析的观点级标注语料库 Multimodal Opinion-level Sentiment Intensity dataset（MOSI），并介绍了一种新的多模态融合方法，共同建模口语和视觉手势。

Jun, 2016

我们引入了 FindingEmo，一个新的图像数据集，包含对 2.5 万张图片的注释，专门用于情绪识别。与现有数据集相反，它专注于描绘多个人物在各种自然、社交环境中的复杂场景，注释是整体进行的，超越了传统对人脸或单个人的关注。注释的维度包括情感价值、情感激动和情绪标签，使用 Prolific 收集注释。除了注释，我们还发布了指向原始图片的 URL 列表，以及所有相关的源代码。

Feb, 2024

本文综合评估了用于大规模异构多媒体数据的情感计算（AC）技术，包括心理学中广泛采用的典型情绪表示模型和基于手工特征和深度学习方法的代表性方法，并总结了现有算法的可用数据集。最终，我们讨论了多媒体情感计算的一些挑战和未来方向。

Oct, 2019

EMOVOME 是一个包含 999 条语音信息的数据集，来自 100 位西班牙使用者在即时消息应用上的真实对话，具有性别平衡。该数据集为野外环境下的情感表达提供了基线，包括语音特征和文字特征的情感识别模型的准确率评估。该资源对于野外情感识别的研究和西班牙语的自然、免费资源提供了重要贡献。

Feb, 2024

提出了一个多模态的语音情感对话数据集 MELD，包含超过两个演讲者的大规模多模态多方情感对话，并且证明了情境和多模态信息对会话中的情感识别的重要性。

Oct, 2018