Mar, 2015

EmoNets: 多模深度学习方法用于视频情感识别

PDF
TL;DR本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。
emotion recognitionemotiw challengedeep learningmultiple modalitiesvideo analysis
发现论文，激发创造
  • 采用隐私合规特征进行野外多模态群体情绪识别

    本研究在 EmotiW Challenge 2023 中探索了符合隐私规范的野外群体情绪识别。提出的多模态模型通过视频和音频分支以及跨模态注意力实现，使用全局特征而避免使用个体特征，仅依靠分布在视频中的 5 个均匀帧即可达到相当高的准确率。

    Dec, 2023

  • 野外视频情感分类的时间多模态融合

    本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

    Sep, 2017

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 利用预训练于大型人脸识别数据集上的卷积神经网络进行视频情感分类

    本文提出了一种由多个利用卷积神经网络和大规模人脸识别数据集进行训练得到的强大行业级人脸识别网络组成的集成模型，该模型对视频中的空间和音频特征进行捕获，从而提高情绪识别的准确性，并在不使用视觉时间信息的情况下，将测试集的最佳结果提高了约 1％，实现了 60.03％的分类准确度。

    Nov, 2017

  • 运用深度神经网络和贝叶斯分类器进行野外情感识别

    本文提出了一种基于深度神经网络和贝叶斯分类器的新型解决方案，其中神经网络分析单个面孔表情，贝叶斯分类器通过场景描述符估计全局情感。在 Emotion Recognition in the Wild Challenge 2017 数据集上测试，该方法在测试集上的准确率为 64.68％，显著优于竞争基线 53.62％。

    Sep, 2017

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 基于多模态深度模型的电影情感反应预测

    本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

    Sep, 2019

  • EmotioNet 挑战：在野外识别面部情感表达

    本文介绍了 EmotioNet 挑战的方法和结果，其中第一项挑战测试了当前计算机视觉算法在自动检测表情动作单元（AU）方面的能力，第二项挑战测试了算法在面部表情图像的情感分类方面的能力，研究表明当前机器学习算法在这两个任务中无法可靠地解决问题，计算机视觉算法在检测动作单元时的效果比检测情感分类时的效果要好。

    Mar, 2017

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018