ICCVSep, 2019

基于多模态深度模型的电影情感反应预测

PDF
TL;DR本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。
multimodal modelsevoked emotion predictiondeep neural networkaudio-visual featuresoptical flow
发现论文，激发创造
  • 使用深度神经网络增强电影情感体验预测：音频和语言的重要性

    本文研究使用深度神经网络模型准确预测电影观众观看电影时所体验到的人类情感，其中包括来自 RGB 视频帧的视觉提示，涵盖声音、语音和音乐的听觉组件，以及包含演员对话的语言元素。

    Jun, 2023

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • 野外视频情感分类的时间多模态融合

    本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

    Sep, 2017

  • 利用情感因果关系对多媒体内容进行情感分析

    通过 Affect2MM，我们提供了一种用于多媒体内容时间序列情感预测的学习方法，利用情感因果理论来计算实现对电影片段中情感的显式建模，通过基于注意力机制和格兰杰因果性的方法来显式建模情感的时间因果性，并使用 LSTM 的情感感知模型进行评估。

    Mar, 2021

  • 基于统计学的 CNN 音频视觉特征选择用于瞬时估计人类情感状态

    使用卷积神经网络统计学习从互信息选择的最小冗余最大相关性的表情特征进行回归，可以高于传统的音频或视频特征，实时预测情感状态的准确度。

    Aug, 2017

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • EmoNets: 多模深度学习方法用于视频情感识别

    本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

    Mar, 2015

  • 多模态情感识别基于时间模型的比较

    本文研究了在多模态情感识别中使用不同序列模型的表现，使用多层 CNN 模型处理音频和图像，比较了 GRU、Transformer、LSTM 和 Max Pooling 这四种序列模型的准确度、精度和 F1 分数，观察到这些序列模型在情感识别方面的表现非常接近。

    Jun, 2023