本研究提出了 Multimodal Aspect-Category Sentiment Analysis (MACSA) 数据集，其中包含了超过 21K 个文本 - 图像对，提供了针对文本和视觉内容的细粒度注释，并首次使用 aspect category 作为枢轴，对齐两种模态之间的细粒度元素。本研究建立了 Multimodal ACSA 任务和一个基于多模态图形对齐的融合模型 (MGAM)，采用精细的跨模态融合方法。实验结果表明，本方法可以便于这个语料库未来研究的基线比较。本文中的数据集和代码将公开提供。

Jun, 2022

本研究提出了一种面向方面的方法（AoM），旨在检测与方面相关的语义和情感信息，并使用图卷积网络模拟视觉文本和文本之间的交互，明确地引入了情感嵌入，以准确地聚合情感信息。

May, 2023

多模态基于方面的情感分析 (MABSA) 研究了一个管道框架，其中首先通过 MATE 多模态方面术语抽取识别方面，然后将这些方面与图像补丁对齐用于情感分类 (MASC)，并且该方法在 Twitter-15 和 Twitter-17 数据集上取得了最先进的性能表现。

May, 2024

本文提出了一种面向多模态方面的情感分析的 Vision-Language 预训练框架（VLPMABSA），使用更加统一的多模态编码器 - 解码器体系结构来应对上一个视觉和文本模型分开预训练、或是总体预训练任务不够细致的问题，同时还设计了三种特定于该任务的语言、视觉和多模态预训练任务，并通过实验证明了本文方法在三个 MABSA 子任务上优于当前最先进方法的效果，且有助于情感、方面和跨模态的细粒度对齐。

Apr, 2022

提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

Aug, 2022

多模态情感分析研究中，提出了一种称为 DQPSA 的新框架，其包含了 Prompt 作为 Dual Query（PDQ）模块和基于能量的 Pairwise Expert（EPE）模块，通过提取 Prompt 感知的视觉信息、加强视觉信息与分析目标之间的相关性以及模型边界配对，实现了在三个广泛使用的基准测试中超过以往方法并达到了最新的最佳性能。

Dec, 2023

借助细粒度多模态信息改进维族多模态情感分析的研究工作中，我们提出了新的维语多模态数据集 ViMACSA 和一个 Fine-Grained Cross-Modal Fusion Framework (FCMF) 框架，通过学习内部和跨模态交互并融合信息来产生统一的多模态表示。实验结果显示该框架在 ViMACSA 数据集上超过了其他模型，达到了 79.73% 的最高 F1 分数，同时还研究了越南多模态情感分析的特点和挑战。

May, 2024

提出了一个可以有效解决类别不平衡问题的 Plug-and-Play Pairwise Semantic Interaction（PSI）模块，通过对成对句子的语义向量进行学习，从而增强了句子之间的高级语义特征交互，证明在四个 ABSC 数据集上，PSI 模块比竞争对手的基线表现更好并且显著减轻了类别失衡问题。

Feb, 2022

本文提出了一种极弱监督的多标签方面类别情感分析框架，并提出了一种自动词语选择技术来选择这些种子类别和情感词，利用无监督语言模型后训练来提高性能，在四个基准数据集上的实验证明了该方法显著优于其他弱监督基线。

Nov, 2022

本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

Mar, 2024