通过流水线预测和基于翻译的对齐,增强多模态情感分析
本文提出了一种面向多模态方面的情感分析的 Vision-Language 预训练框架(VLPMABSA),使用更加统一的多模态编码器 - 解码器体系结构来应对上一个视觉和文本模型分开预训练、或是总体预训练任务不够细致的问题,同时还设计了三种特定于该任务的语言、视觉和多模态预训练任务,并通过实验证明了本文方法在三个 MABSA 子任务上优于当前最先进方法的效果,且有助于情感、方面和跨模态的细粒度对齐。
Apr, 2022
本研究提出了一种面向方面的方法(AoM),旨在检测与方面相关的语义和情感信息,并使用图卷积网络模拟视觉文本和文本之间的交互,明确地引入了情感嵌入,以准确地聚合情感信息。
May, 2023
多模态情感分析研究中,提出了一种称为 DQPSA 的新框架,其包含了 Prompt 作为 Dual Query(PDQ)模块和基于能量的 Pairwise Expert(EPE)模块,通过提取 Prompt 感知的视觉信息、加强视觉信息与分析目标之间的相关性以及模型边界配对,实现了在三个广泛使用的基准测试中超过以往方法并达到了最新的最佳性能。
Dec, 2023
本文提出了一种新的框架 SeqCSG,其中包括构建顺序跨模态语义图和编码器 - 解码器模型方法,用于有效利用跨模态语义图进行多模态方面的情感分类,实验结果表明,我们的方法优于现有方法并在两个标准数据集中实现了最先进水平。
Aug, 2022
本文提出了一个统一的框架来解决基于方面的情感分析(ABSA)及其相关子任务,通过在多任务学习模式下使用 T5 模型,通过教学提示进行 fine-tuning,并在多个基准数据集上实现了表现提升(F1 绝对值增加了 6.75),特别是在少样本情况下。
Oct, 2022
本文提出了一种基于 BERT-MRC 模型的联合训练框架,通过解决 aspect term extraction、opinion term extraction 和 aspect-level sentiment classification 等问题,实现了 Aspect based sentiment analysis,取得了显著的实验效果成果。
Jan, 2021
本文主要研究了基于深度学习与多模态语料库的阿拉伯情感分析的数据集,通过使用最先进的 transformers 和特征提取工具来建立我们的阿拉伯多模态数据集,并使用 state-of-the-art 的 transformer-based model 验证我们的数据集,研究表明阿拉伯多模态情感分析非常有前途。
Jun, 2023
多模态面向方面的情感分析 (MABSA) 是一个细粒度的情感分析任务,本文提出了一种多粒度多课程去噪框架 (M2DF),通过调整训练数据的顺序实现去噪,实验证明该框架在 MABSA 的三个子任务上始终优于最先进的工作。
Oct, 2023
本研究提出了 Multimodal Aspect-Category Sentiment Analysis (MACSA) 数据集,其中包含了超过 21K 个文本 - 图像对,提供了针对文本和视觉内容的细粒度注释,并首次使用 aspect category 作为枢轴,对齐两种模态之间的细粒度元素。本研究建立了 Multimodal ACSA 任务和一个基于多模态图形对齐的融合模型 (MGAM),采用精细的跨模态融合方法。实验结果表明,本方法可以便于这个语料库未来研究的基线比较。本文中的数据集和代码将公开提供。
Jun, 2022
通过增强方面 - 句子感知关注机制,提出了一个名为 A3SN 的新颖技术,通过增加注意力模块和整合特征表示,增强了 Aspect-Based Sentiment Analysis(ABSA)的效果,并在三个基准数据集上胜过了最先进的基准模型。
May, 2024