本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。
Jul, 2017
本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。
本文提出利用大规模无监督语言建模与微调相结合的方法来解决情感多维度分类问题，并在 SemEval2018 Task 1:E-c 上获得竞争力和实际应用价值，成果表明这种方法可以用于真实情感分类任务。
Dec, 2018
该论文提出了一种基于模态翻译的方法来学习稳健的联合表示，并使用循环一致性损失来保留所有模态的最大信息，从而实现了多模态情感分析方面的最新成果。
该论文提出了一种用于多模态情感检测的对比学习和多层融合（CLMLF）方法，通过对文本和图像进行隐藏表征编码，设计了两个对比学习任务，标签对比学习和数据对比学习，有助于模型学习多模态数据中与情感相关的共同特征。在公开数据集上进行的大量实验证明了该方法与现有方法相比，在多模态情感检测方面具有很好的效果。
Apr, 2022
本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。
May, 2019
提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。
Dec, 2023
本文介绍了一种名为 Select-Additive Learning (SAL) 的机器学习算法，它可以改善多模态情感分析神经网络的泛化性能，即使训练数据集很有限。在实验中，我们证明了这种算法可以在口语、声学、视觉及其融合等三种模态上显著提高预测精度。
Sep, 2016
通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。
Sep, 2020
提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。
Jan, 2024