Jun, 2023

使用深度神经网络增强电影情感体验预测：音频和语言的重要性

PDF
TL;DR本文研究使用深度神经网络模型准确预测电影观众观看电影时所体验到的人类情感，其中包括来自 RGB 视频帧的视觉提示，涵盖声音、语音和音乐的听觉组件，以及包含演员对话的语言元素。
发现论文，激发创造
  • 基于多模态深度模型的电影情感反应预测

    本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

    Sep, 2019

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 利用语音和文本的多模态语音情感识别

    本文提出了一种深度双重循环编码器模型，利用语音和文本数据进行机器情感识别，该模型表现更优，实验结果显示，当将该模型应用于 IEMOCAP 数据集时，在将数据分配到四个情感类别（愤怒，高兴，悲伤和中性）方面，准确率在 68.8％至 71.8％之间。

    Oct, 2018

  • 基于深度神经网络的音频和歌词的音乐情感检测

    本研究考虑了基于音频信号和歌词的多模态音乐情绪预测任务，复现传统特征工程方法的基础上提出了一种基于深度学习的新模型，证明了新方法相较于传统模型更擅长于唤起用户的注意，而在情感预测上两种方法表现相当。此外，我们还比较了不同的融合方法，在同时优化各单模态模型时取得了较大的提升，并向公众发布部分数据以供参考。

    Sep, 2018

  • 电影情感弧线学习的音视频情感分析

    利用机器学习方法构建电影中的情感弧线，计算弧线系列，并展示了某些弧线预测观众参与度的能力。通过调查观众的反应，结果表明学习到的弧线成功地表示了影片故事的宏观方面，这进一步提高了我们作为讲故事人之间交流能力，以预测观众对视频故事的反应。

    Dec, 2017

  • 使用多语言预训练变压器量化文本情感的价值和唤起程度

    本研究利用预训练转换器对多语言和多领域的输入文本进行情感分析，使用基于趋势 - 唤醒维度的情感分析方法，比传统方法更细致地区分不同的情感，并发现模型大小对预测质量有显著影响，可自信地预测不同语言的趋势性和唤醒性。

    Feb, 2023

  • 多模态情感分析探索情绪结构

    本文提出一种新的多模态情感分析方法，使用深度神经网络结合视觉分析和自然语言处理，旨在推断用户潜在的情感状态并且在社交网络中应用此方法实现自我报告的情感标签的预测，实验证明该模型的性能优于仅基于图像或文本的单独模型，并具有与情绪相关的合理词汇列表。

    May, 2018

  • 情感和情绪分类的多模态关系张量网络

    本文介绍一种基于 Relational Tensor Network 架构并运用丰富的音频和语言上下文以及细粒度的文本情感极性得分融合方法来模拟视频中不同模态之间交互的方法，并在 CMU-MOSEI 数据集上表现出优越的情感分类和情感识别结果。

    Jun, 2018