与传统情感分析相比，多模态情感分析需要同时考虑来自多模态源的情感信号，它更符合人类在现实场景中处理情感的方式。本文综述了近期文本为中心的多模态情感分析任务中的研究，审视了大型语言模型在文本为中心的多模态情感分析中的潜力、方法、优势和局限性，总结了基于大型语言模型的多模态情感分析技术的应用场景，并探讨了未来多模态情感分析的挑战和潜在研究方向。

Jun, 2024

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

近年来，多模态自然语言处理引起了广泛关注，但我们需要更清晰地分析多语言环境下的多模态任务。本文通过一个简单的策划过程，将一份现有的文本 Twitter 情感数据集转化为多模态格式，从而填补了先前主要关注英语的情感分析研究的空白，并为研究界开辟了情感相关研究的新领域。此外，我们利用这个增强的数据集进行了基准实验，并报告了结果。值得注意的是，我们的评估结果显示，在单模态和多模态配置相比较时，使用一个经过情感调整的大型语言模型作为文本编码器表现出色。

Apr, 2024

本文探索了三种不同的深度学习方法来进行基于多模态的情感分类，同时评估了这些方法在多个固定数据集上的效果，提出了需要考虑的分析因素，旨在为多模态情感分析的未来研究建立新的基准。

Mar, 2018

本文综述了深度学习在情感分析中的当前应用，介绍了其学习多层表示、特征提取和产生最新预测结果的强大机器学习技术。

Jan, 2018

本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

Feb, 2020

提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

Dec, 2023

本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

May, 2023

该研究提出了一种交互式的可视化分析系统，M2Lens，用于可视化和解释基于深度学习的多模态情感分析模型，提供了全局、子集和局部水平上的模态间互动的解释，从语言、声学和视觉模式探索模型行为。

Jul, 2021

本文主要研究了基于深度学习与多模态语料库的阿拉伯情感分析的数据集，通过使用最先进的 transformers 和特征提取工具来建立我们的阿拉伯多模态数据集，并使用 state-of-the-art 的 transformer-based model 验证我们的数据集，研究表明阿拉伯多模态情感分析非常有前途。

Jun, 2023