本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

May, 2023

通过将两通道卷积神经网络与环状网络相结合，建立了一种多模态情感识别方法，该方法可以有效提取情感信息并提高学习效率。实验表明，基于特征融合的情感分析方法能够有效提高情感数据集的识别准确性，并减少学习时间。模型具有一定的泛化能力。

Nov, 2023

本文研究社交媒体中 emoji 图标的情感分类问题，并探讨了不同的多模态官能（文本、emoji 和图片）在此问题中的作用，结果表明三种官能可互补，最高准确度达到 71.98％。

Mar, 2019

本论文研究了社交媒体中的图像情感分析问题，提出了一种基于跨模态蒸馏范式的自动建立情感极性分类器的方法，即从文本数据和图像数据构建出学生模型，并在 Twitter 上收集的随机抓取的图像数据集上对模型进行了评估，证明了其在情感极性预测方面优于现有的方法。

Apr, 2023

与传统情感分析相比，多模态情感分析需要同时考虑来自多模态源的情感信号，它更符合人类在现实场景中处理情感的方式。本文综述了近期文本为中心的多模态情感分析任务中的研究，审视了大型语言模型在文本为中心的多模态情感分析中的潜力、方法、优势和局限性，总结了基于大型语言模型的多模态情感分析技术的应用场景，并探讨了未来多模态情感分析的挑战和潜在研究方向。

Jun, 2024

近年来，多模态自然语言处理引起了广泛关注，但我们需要更清晰地分析多语言环境下的多模态任务。本文通过一个简单的策划过程，将一份现有的文本 Twitter 情感数据集转化为多模态格式，从而填补了先前主要关注英语的情感分析研究的空白，并为研究界开辟了情感相关研究的新领域。此外，我们利用这个增强的数据集进行了基准实验，并报告了结果。值得注意的是，我们的评估结果显示，在单模态和多模态配置相比较时，使用一个经过情感调整的大型语言模型作为文本编码器表现出色。

Apr, 2024

本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

Jul, 2020

本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

May, 2019

本研究使用多层神经网络 MLTA，并结合图神经网络技术进行社交媒体上的情感分析，并能够提取主要的情感，并适用于分析更广泛的 Twitter 数据集。

Jul, 2022