本文介绍一种基于 Relational Tensor Network 架构并运用丰富的音频和语言上下文以及细粒度的文本情感极性得分融合方法来模拟视频中不同模态之间交互的方法，并在 CMU-MOSEI 数据集上表现出优越的情感分类和情感识别结果。

Jun, 2018

通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

Sep, 2020

我们提出了一种可靠的多模态情绪有序网络（TMSON），通过减少不确定性来提高情绪分析性能，包括多模态视频情绪分析、多模态可靠性、有序关系和不确定性降低。

Apr, 2024

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

本论文提出了一种新的特征融合策略并应用在情感分析中，该策略通过分层融合两种模态，然后再将其与第三种模态融合，在个别话语的情感分析和视频剪辑的情感分析中均取得了优异的效果。

Jun, 2018

本文提出了一种基于量子理论的多模态情感分析框架，通过超定态和纠缠的方式对单模态内部交互和跨模态交互进行建模，并成功应用到了两个基准影片情感分析数据集上，普适性优于现有技术水平。

Mar, 2021

本文介绍了一个基于多通道注意力图卷积网络（MAGCN）的多模态情感分析框架，它将情感知识融合到跨模态交互学习中，并在多个数据集上实现了竞争性表现。

Jan, 2022

该研究提出了一个新的端到端的网络，使用双模态配对表示执行融合和分离，并利用带有门控机制的 Transformer 架构进一步提高了最终输出，在 CMU-MOSI、CMU-MOSEI 和 UR-FUNNY 三个数据集上的实验结果验证了该模型明显优于 SOTA。

Jul, 2021

开发了一种新颖的深度结构 Gated Multimodal Embedding LSTM with Temporal Attention (GME-LSTM (A)) 模型，以单词级别进行多模态情感分析。在公开数据集 CMU-MOSI 上表现 State-of-the-art 的情感分类和回归结果，强调了 Temporal Attention Layer 在情感预测中的重要性和 Gated Multimodal Embedding 对于过滤有噪音的多模态的有效性。

Feb, 2018

本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

Feb, 2020