Oct, 2019

基于多 CNN 特征的 CNN-RNN 情感维度识别在 OMG 野外数据集上的应用

PDF
TL;DR本文利用 CNN-RNN 方法以及 OMG-Emotion 数据集，多模态特征提取，提出了情感识别的新思路，仅利用视觉模态的方法优于同时利用音频和视觉模态的现有技术，实验表明，低级特征结合高级特征可明显提高情感唤起度的识别。
cnn-rnnemotion recognitionomg-emotion datasetvisual modalitymulti-task framework
发现论文，激发创造
  • 一分钟逐渐情感挑战的多模态情感识别

    本文介绍了我们在 One-Minute-Gradual 情感挑战中，通过提取从视频中用多种声学，视频和文本模型提取的多模态表示，并使用支持向量机（SVM）融合多模态信号进行最终权值预测，实现了 CCC 得分 0.397 和 0.520。这超过了最佳 CCC 得分 0.15 和 0.23 的基线系统。

    May, 2018

  • OMG-Emotion 行为数据集

    本文介绍了我们提出的多模态心情表达数据集，其中使用分层注释策略进行情感表达识别。使用自然连续的方式对 YouTube 视频进行收集，以构建一个公平标准的深度和递归神经模型实验协议。

    Mar, 2018

  • 深度神经网络对视频数据情绪识别的改进

    本文通过使用卷积神经网络和循环神经网络来识别视频数据中的情感，分析两种神经网络对系统性能的贡献，并在实验中实现了优于基线和其他竞争方法的表现。

    Feb, 2016

  • EmoNets: 多模深度学习方法用于视频情感识别

    本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

    Mar, 2015

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 利用预训练于大型人脸识别数据集上的卷积神经网络进行视频情感分类

    本文提出了一种由多个利用卷积神经网络和大规模人脸识别数据集进行训练得到的强大行业级人脸识别网络组成的集成模型，该模型对视频中的空间和音频特征进行捕获，从而提高情绪识别的准确性，并在不使用视觉时间信息的情况下，将测试集的最佳结果提高了约 1％，实现了 60.03％的分类准确度。

    Nov, 2017

  • AI 深度学习算法在多模态情感分析中的实施

    通过将两通道卷积神经网络与环状网络相结合，建立了一种多模态情感识别方法，该方法可以有效提取情感信息并提高学习效率。实验表明，基于特征融合的情感分析方法能够有效提高情感数据集的识别准确性，并减少学习时间。模型具有一定的泛化能力。

    Nov, 2023

  • 一种用于群体级情感识别的注意力模型

    本文提出了一种新的方法，使用全局表示和局部表示的相互补充信息对包含人群的图像进行情感分类，其中，使用卷积神经网络 (CNN) 学习图像的全局表示，通过注意力机制合并面部特征获得局部表示，将两种表示独立学习后通过级联融合，采用多种变化的模型组成的集成方法在 EmotiW 2018 群体情感识别挑战中取得了 64.83% 的测试集准确率，排名挑战参赛者的第 4 位。

    Jul, 2018

  • 野外视频情感分类的时间多模态融合

    本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

    Sep, 2017