本研究旨在开发和分析多模态模型，预测观众观看电影片段时的情感反应。研究发现，通过提取 RGB 帧和光流的特征以及音频中的各种低级描述符，采用深度神经网络模型来进行情感预测更为精确。其中，光流特征比 RGB 视频更加信息含量丰富，且音频特征的预测精度高于视频特征。

Sep, 2019

本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

May, 2018

本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

Sep, 2017

研究了多模态情感识别中不同模态表达的语义相关性，并提出了一种多模态相关性估计网络，能够有效地捕捉相关语义，特别是对于模态语义的大偏差具有较好的效果。

Feb, 2023

在线教育中的学生理解度需要多模态方法进行感知识别和评估，结合姿势、表情、眼动和语言等多种线索，通过加权投票方式整合最合适的机器学习模型。

Dec, 2023

本文介绍了一种融合了多种多样信息的多模态框架，通过将来自视觉面部特征和视频输入中提取的 rPPG 信号的信息融合从而实现情感理解。基于排列特征重要性分析的解释性技术用于计算 rPPG 和视觉模态对将给定视频分类到特定情感类别的贡献。IEMOCAP 数据集上的实验表明，从多个模态组合的互补信息可以提高情感分类性能。

Jun, 2023

本文选择 2015 年至 2023 年间发表的论文，系统总结了关于视频情感识别的现有研究趋势，讨论了典型情感模型、常用数据库以及现代单模态和多模态视频情感识别方法的结构和性能，并比较了它们的优缺点。此外，总结了目前视频情感识别项目所面临的主要困难，并指出了未来发展方向，如建立开放基准数据库和改进多模态融合策略。本文旨在帮助学术界和工业界的科学家及时了解视频情感识别领域的最新进展和新发展。

Oct, 2023

本文研究如何通过异构外部来源（包括图像和文本数据）传递知识来帮助用户生成视频中的情感识别，情感归因和情感导向摘要等任务，提出了一种框架来学习情感图像数据集中的视频编码，并通过从辅助文本语料库中传递知识来实现用于训练时见不到的情感类别的零样本识别，该方法促进了情感归因和情感导向摘要的新应用。通过对多个数据集的全面实验，验证了该方法的有效性。

Nov, 2015

本研究使用深度学习技术，以多模态方式，使用面部检测、音频流等模态，探索影片情感识别模型，成果在 2013 年的 EmotiW 挑战中成为获胜者，并在 2014 年的数据集上实现了约 47.67% 的准确率。

Mar, 2015

通过 Affect2MM，我们提供了一种用于多媒体内容时间序列情感预测的学习方法，利用情感因果理论来计算实现对电影片段中情感的显式建模，通过基于注意力机制和格兰杰因果性的方法来显式建模情感的时间因果性，并使用 LSTM 的情感感知模型进行评估。

Mar, 2021