Nov, 2023

eMotions：一份用于短视频情绪识别的大规模数据集

PDF
TL;DR现今，短视频对于信息获取和分享至关重要。鉴于短视频情感数据的缺乏，我们介绍了一个大规模的数据集，名为 eMotions，包含 27996 个视频。我们通过优化人员分配和多阶段注释来减轻主观因素对标签质量的影响。另外，我们通过有针对性的数据采样提供了类别平衡和面向测试的变体。我们提出了一种端到端的基线方法 AV-CPNet，采用视频 Transformer 来更好地学习语义相关表示。我们进一步设计了两阶段的跨模态融合模块，来补充地建模音视频特征之间的相关性。然后，我们应用了包含三种情感极性的 EP-CE 损失来指导模型优化。对于九个数据集的广泛实验结果验证了 AV-CPNet 的有效性。数据集和代码将在此 https URL 开放。
short videosemotion recognitiondatasetvideo transformeraudio-visual features
发现论文，激发创造
  • EmoNets: 多模深度学习方法用于视频情感识别

    本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

    Mar, 2015

  • 思考视觉情绪：理解和克服数据集偏见

    机器学习在视觉情感识别方面的应用具有很大的潜力，但目前的方法针对有限的视觉情感概念局限于小规模数据集上进行模型训练和测试。我们的分析确定了现有视觉情感基准测试中存在的一个长期被忽视的问题，即数据集偏见。基于我们的分析，我们提出了一个基于 Webly 监督方法的解决方案，通过利用大量的库存图像数据进行训练。我们发现，使用我们的大规模图像数据集学习的模型表现出了明显更好的泛化能力。此外，使用我们的方法学习得到的视觉表示在不同的图像和视频数据集上具有很大的潜力。

    Aug, 2018

  • 用户生成视频情感识别的端到端视听注意力网络

    本研究提出了一种基于卷积神经网络的深层视听关注网络（VAANet）来进行用户生成视频中的情感识别，其结果在两个不易的视频情绪识别数据集上均优于现有的方法。

    Feb, 2020

  • 构建大规模图像情感识别数据集：细节和基准测试

    本文介绍了一个新的图像数据集，旨在鼓励进一步研究视觉情感分析。 在此数据集上进行了广泛的基准测试分析，包括使用卷积神经网络等最新方法，证实了手工调整特征的有效性以及由于缺乏数据而导致的视觉情感分析发展滞后的挑战。

    May, 2016

  • GoEmotions：一份包含细致情绪的数据集

    介绍了 GoEmotions，这是目前最大的手动标注的数据集之一，其中包含 58k 英文 Reddit 评论，并将其标记为 27 种情感类别或中性。通过传递学习实验，证明了该数据集具有良好的泛化性能，BERT-based 情感检测模型取得了.46 的平均 F1 分数。

    May, 2020

  • EMOVIE：一种普通话情感语音数据集及其简单情感文本转语音模型

    本篇论文提供了包括 9,724 个样本的情感语音数据集，并提出了一种名为 EMSpeech 的情感语音合成模型，该模型无需参考音频即可从文本预测情感标签并生成更富表现力的语音。在实验中，作者验证了数据集的有效性，证明了该模型在情感语音合成任务中取得了显著性能。

    Jun, 2021

  • 利用预训练于大型人脸识别数据集上的卷积神经网络进行视频情感分类

    本文提出了一种由多个利用卷积神经网络和大规模人脸识别数据集进行训练得到的强大行业级人脸识别网络组成的集成模型，该模型对视频中的空间和音频特征进行捕获，从而提高情绪识别的准确性，并在不使用视觉时间信息的情况下，将测试集的最佳结果提高了约 1％，实现了 60.03％的分类准确度。

    Nov, 2017

  • 基于语境的情感识别：使用 EMOTIC 数据集

    本研究提出一个多元感情图像数据集 EMOTIC，并通过 bounding box 、场景语境等方法训练多种卷积神经网络模型，结果表明场景语境对自动识别情感状态提供了重要信息，为情感识别领域的研究提供了新思路。

    Mar, 2020

  • 在复杂故事中建模情感：斯坦福情感叙事数据集

    本文通过时间序列建模和高质量数据集的采集来建立动态情感刺激的模型，在此基础上介绍第一版本的斯坦福情感叙述数据集（SENDv1）。该数据集是自我节奏、非手稿的丰富、多模态视频，标注情感质量随时间的变化，为情感计算的当代时间序列方法提供了挑战，并通过多种基准和最先进的建模方法展示了良好的表现。

    Nov, 2019

  • 通过融合 MOOC 学习场景中的视频语义进行多模态情感识别

    探索视频语义信息对学习者情绪的影响，本文提出一种融合视频语义信息和生理信号的多模态情绪识别方法，实现了情绪识别性能的显著提升，为 MOOC 学习情景的情绪识别研究提供了新的视角和高效的方法。

    Apr, 2024