Feb, 2016

深度神经网络对视频数据情绪识别的改进

PDF
TL;DR本文通过使用卷积神经网络和循环神经网络来识别视频数据中的情感，分析两种神经网络对系统性能的贡献，并在实验中实现了优于基线和其他竞争方法的表现。
dimensional emotion recognitionvideo datadeep learningconvolutional neural networksrecurrent neural networks
发现论文，激发创造
  • 利用预训练于大型人脸识别数据集上的卷积神经网络进行视频情感分类

    本文提出了一种由多个利用卷积神经网络和大规模人脸识别数据集进行训练得到的强大行业级人脸识别网络组成的集成模型，该模型对视频中的空间和音频特征进行捕获，从而提高情绪识别的准确性，并在不使用视觉时间信息的情况下，将测试集的最佳结果提高了约 1％，实现了 60.03％的分类准确度。

    Nov, 2017

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 用循环神经网络从语音中识别情感

    本文提出了一种利用深度递归神经网络来识别语音情感的方法，通过对小语音时间间隔内计算的一系列声学特征进行训练，同时采用特殊的概率性 CTC 损失函数来考虑包含情感和中性部分的长语音片段，在与最近进展的比较和人类表现的对比中展示了该方法的高质量。

    Jan, 2017

  • 超越短片段：用于视频分类的深度网络

    本论文提出和评估了几个深度神经网络架构，用于对比以往更长时间段内视频图像信息的组合。通过一些新的方法，包括卷积时间特征池化和循环神经网络结构，该论文指出最佳神经网络在 Sports 1 million 数据集（73.1％对 60.9％）和 UCF-101 数据集中（88.6％对 88.0％）及无附加光流信息（82.6％对 72.8％）上明显性能提高。

    Mar, 2015

  • 深情感：利用注意力卷积网络进行面部表情识别

    该文介绍了针对面部表情识别问题，提出了一种基于注意力卷积网络的深度学习方法，并采用可视化技术确定了识别不同情绪对应的重要面部区域，相比先前的模型在多个数据集上都取得了明显的改进。

    Feb, 2019

  • 基于增强式深度 3D 卷积神经网络的人脸表情识别

    本篇研究提出了在视频中进行情感识别的 3D 卷积神经网络方法，使用 3D Inception-ResNet 层及 LSTM 单元，从面部图像中提取空间关系和不同帧之间的时间关系，并利用面部关键点作为输入，该方法在四个公开数据库上的表现超过了现有最先进技术。

    May, 2017

  • EmoNets: 多模深度学习方法用于视频情感识别

    本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

    Mar, 2015

  • 情感识别的时空循环神经网络

    本研究提出一种名为 STRNN 的深度学习框架来将人类情感信息的两种不同信号源进行学习，以便对情绪进行永久跟踪和分析，并在公共情感数据集上取得更具竞争力的结果。

    May, 2017

  • 用户生成视频情感识别的端到端视听注意力网络

    本研究提出了一种基于卷积神经网络的深层视听关注网络（VAANet）来进行用户生成视频中的情感识别，其结果在两个不易的视频情绪识别数据集上均优于现有的方法。

    Feb, 2020

  • 基于多 CNN 特征的 CNN-RNN 情感维度识别在 OMG 野外数据集上的应用

    本文利用 CNN-RNN 方法以及 OMG-Emotion 数据集，多模态特征提取，提出了情感识别的新思路，仅利用视觉模态的方法优于同时利用音频和视觉模态的现有技术，实验表明，低级特征结合高级特征可明显提高情感唤起度的识别。

    Oct, 2019