通过减少模型对虚假相关性的依赖，我们提出了一个基于逆概率加权的通用去偏方法，以提升多模态情感分析模型的超出分布泛化能力。通过解耦每种模态的鲁棒特征和偏倚特征，并利用偏倚特征估计偏倚，我们使用逆概率加权来减少对大偏倚样本的影响，从而促进情感预测的鲁棒特征学习。实证结果证明了我们提出的框架具有优越的泛化能力。

Jul, 2023

多模态情感分析中的情感语义一致性是一个普遍存在的挑战，我们通过引入模态冲突的测试集评估传统的多模态情感分析模型和多模态大型语言模型的性能，发现传统模型在面对语义冲突数据时表现出显著的性能降低，并指出了多模态情感分析中多模态大型语言模型的缺点。我们的研究提出了一个新的挑战，并为情感分析系统的未来发展提供了宝贵的见解。

Jun, 2024

本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

Nov, 2022

提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

Aug, 2022

本研究提出了一种基于互信息最大化和最小化以及身份嵌入（MMMIE）的多模态表示模型，以更好地应对不同模态之间的异质性差距和上下文动态。实验结果表明，该模型在两个公共数据集上的表现具有有效性。

Jan, 2022

本文主要研究了基于深度学习与多模态语料库的阿拉伯情感分析的数据集，通过使用最先进的 transformers 和特征提取工具来建立我们的阿拉伯多模态数据集，并使用 state-of-the-art 的 transformer-based model 验证我们的数据集，研究表明阿拉伯多模态情感分析非常有前途。

Jun, 2023

本文提出了一种基于 MISA 框架的多模态情感分析方法，该方法利用学习到的模态表示来帮助实现多模态信号的融合，从而提高任务预测的准确性。在多个情感分析基准数据集和 UR_FUNNY 数据集上，该方法表现出了明显的优越性，验证了其在多模态分析中的实用性。

May, 2020

利用最新的转换器和特征提取工具构建阿拉伯语多模态数据集，验证其在多模态学习中的效果，并展示阿拉伯语多模态研究的潜力。

Nov, 2023

通过引入一种叙述性因果图和分析主体的混淆效应的方法，我们提出了 SuCI，这是一个简单而有效的因果干预模块，可以消除主体作为未观察到的混淆因素的影响，并通过真实的因果效应对模型进行训练。全面的实验结果清楚地证明了该模块的有效性。

Mar, 2024

近年来，多模态自然语言处理引起了广泛关注，但我们需要更清晰地分析多语言环境下的多模态任务。本文通过一个简单的策划过程，将一份现有的文本 Twitter 情感数据集转化为多模态格式，从而填补了先前主要关注英语的情感分析研究的空白，并为研究界开辟了情感相关研究的新领域。此外，我们利用这个增强的数据集进行了基准实验，并报告了结果。值得注意的是，我们的评估结果显示，在单模态和多模态配置相比较时，使用一个经过情感调整的大型语言模型作为文本编码器表现出色。

Apr, 2024