本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

近年来，多模态自然语言处理引起了广泛关注，但我们需要更清晰地分析多语言环境下的多模态任务。本文通过一个简单的策划过程，将一份现有的文本 Twitter 情感数据集转化为多模态格式，从而填补了先前主要关注英语的情感分析研究的空白，并为研究界开辟了情感相关研究的新领域。此外，我们利用这个增强的数据集进行了基准实验，并报告了结果。值得注意的是，我们的评估结果显示，在单模态和多模态配置相比较时，使用一个经过情感调整的大型语言模型作为文本编码器表现出色。

Apr, 2024

本文使用多种技术，如基于词典的、机器学习和深度学习方法，对社交媒体上的评论数据进行情感分析，并提供了比较分析结果。在本研究中，我们使用了来自 Twitter、Reddit 等社交网络网站的评论等多源数据集。选择了朴素贝叶斯机器学习算法、TextBlob 词典方法和 LSTM 深度学习算法。

Dec, 2022

本研究对二十四种正当实践的情感分析方法进行了基准比较，覆盖社交网络、电影、产品评论、新闻文章等十八个数据集，并提供了这些方法的代码和数据集以供使用。结果表明这些方法的预测性能在不同数据集上变化不大。

Dec, 2015

本文提出了一个新的评估框架（TweetEval），由七个异构 Twitter-specific 分类任务组成，并提供了一组强基准作为起点，并比较了不同的语言建模预训练策略，初步实验表明使用现有的通用语言模型预训练，然后在 Twitter 集上继续训练是很有效的。

Oct, 2020

介绍了多模态情感分析的定义、背景和发展，覆盖了最近的数据集和先进模型，并强调了该技术的挑战和未来前景，为未来的研究提供了建设性建议。

May, 2023

本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

Feb, 2020

本文研究了多模态情感分析领域，探讨了社交媒体网络上发布的视觉和文字数据，并提供了包括数据预处理、特征提取技术、情感基准数据集以及适用于不同领域的多种分类方法和数据融合策略。同时，我们还介绍了该领域面临的主要挑战和关键的情感应用。

Jul, 2022

本论文研究了社交媒体中的图像情感分析问题，提出了一种基于跨模态蒸馏范式的自动建立情感极性分类器的方法，即从文本数据和图像数据构建出学生模型，并在 Twitter 上收集的随机抓取的图像数据集上对模型进行了评估，证明了其在情感极性预测方面优于现有的方法。

Apr, 2023

提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

Dec, 2023