本文提出了一种使用卷积注意网络学习语音和文本数据之间隐藏表示的新方法，较之之前的表现更好，能更好地识别出 CMU-MOSEI 数据集中包含的来自语音和文本数据的情感。

May, 2018

本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

Apr, 2017

该文介绍了针对面部表情识别问题，提出了一种基于注意力卷积网络的深度学习方法，并采用可视化技术确定了识别不同情绪对应的重要面部区域，相比先前的模型在多个数据集上都取得了明显的改进。

Feb, 2019

本文旨在研究基于卷积神经网络的视觉情感的精细回归问题，提出了一种新颖的架构 PDANet，将注意力机制和情感极性约束相结合，通过优化极性一致性回归（PCR）损失来生成保留情感极性的注意力图，实验结果表明，PDANet 在 fine-grained visual emotion regression 方面表现出比现有方法更好的性能。

Sep, 2019

本文提出了 Frame Attention Networks（FAN）来自动突出视频中具有区分度的帧，进行面部特征的集成，并在 CK + 和 AFEW8.0 数据集上展开了广泛的实验，其效果表现出优越的性能，超过了基于 CNN 的其他方法并在 CK + 上取得了最优秀的性能。

Jun, 2019

本文通过使用卷积神经网络和循环神经网络来识别视频数据中的情感，分析两种神经网络对系统性能的贡献，并在实验中实现了优于基线和其他竞争方法的表现。

Feb, 2016

本文提出不同变体的自我注意力机制网络，用于从电影中预测情感，融合音频和视频，结合多模态关系，并将自我注意力机制应用于情感预测的特征提取中，证明其在 COGNIMUSE 数据集和 MediaEval 2016 情感影响任务中比时域的自我注意力机制更有效，也优于很多最先进的情感预测模型。

Oct, 2020

本文提出了一个名为 “多层依赖注意力网络”（MDAN）的深度学习框架，通过融合全局学习和局部学习优化网络，采用底层朴素贝叶斯分类器、自底而上的分类器和自顶而下的情感语义映射分类器来消除视觉线索和图片表达情感之间的 “情感差距”，同时设计两种注意力模块以恰当地提取和利用通道相关性和空间注意力，相比现有技术在 6 个视觉情感分析基准上取得了新的最优性能。

Mar, 2022

本文提出了一种由多个利用卷积神经网络和大规模人脸识别数据集进行训练得到的强大行业级人脸识别网络组成的集成模型，该模型对视频中的空间和音频特征进行捕获，从而提高情绪识别的准确性，并在不使用视觉时间信息的情况下，将测试集的最佳结果提高了约 1％，实现了 60.03％的分类准确度。

Nov, 2017

本文提出一种视听空间时域深度神经网络，其中包括预训练的二维 - CNN 和几个平行 TCNs，同时利用视听信息，通过跨验证来充分利用数据和缓解过度拟合，并使用交界面关注机制来强调视觉模态和利用嘈杂的听觉模态。在测试集中，本文的方法在 valence 和 arousal 方面通过了 CCC 测试，相较于其他方法有明显的准确度提升。

Jul, 2021