M2DF: 多粒度多课程去噪框架用于多模态基于方面的情感分析
本研究提出了一种面向方面的方法(AoM),旨在检测与方面相关的语义和情感信息,并使用图卷积网络模拟视觉文本和文本之间的交互,明确地引入了情感嵌入,以准确地聚合情感信息。
May, 2023
多模态基于方面的情感分析 (MABSA) 研究了一个管道框架,其中首先通过 MATE 多模态方面术语抽取识别方面,然后将这些方面与图像补丁对齐用于情感分类 (MASC),并且该方法在 Twitter-15 和 Twitter-17 数据集上取得了最先进的性能表现。
May, 2024
本研究提出了 Multimodal Aspect-Category Sentiment Analysis (MACSA) 数据集,其中包含了超过 21K 个文本 - 图像对,提供了针对文本和视觉内容的细粒度注释,并首次使用 aspect category 作为枢轴,对齐两种模态之间的细粒度元素。本研究建立了 Multimodal ACSA 任务和一个基于多模态图形对齐的融合模型 (MGAM),采用精细的跨模态融合方法。实验结果表明,本方法可以便于这个语料库未来研究的基线比较。本文中的数据集和代码将公开提供。
Jun, 2022
该研究提出了一种名为 RNG 的新型框架,通过设计三个约束来减少多层次的模态噪声和多粒度的语义差距,从而实现联合多模态的情感分析任务,该框架在两个数据集上展示出了最新的性能。
May, 2024
提出了一个大规模的多元素多领域数据集(MEMD),覆盖了包括近 20,000 个评论句子和 30,000 个四元组在内的四个元素的五个领域,评估了开放域 ABSA 的生成和非生成基线,并发现开放域 ABSA 和挖掘隐含方面和观点仍然是需要解决的问题。
Jun, 2023
本文提出了一种新的框架 SeqCSG,其中包括构建顺序跨模态语义图和编码器 - 解码器模型方法,用于有效利用跨模态语义图进行多模态方面的情感分类,实验结果表明,我们的方法优于现有方法并在两个标准数据集中实现了最先进水平。
Aug, 2022
本文提出了一种面向多模态方面的情感分析的 Vision-Language 预训练框架(VLPMABSA),使用更加统一的多模态编码器 - 解码器体系结构来应对上一个视觉和文本模型分开预训练、或是总体预训练任务不够细致的问题,同时还设计了三种特定于该任务的语言、视觉和多模态预训练任务,并通过实验证明了本文方法在三个 MABSA 子任务上优于当前最先进方法的效果,且有助于情感、方面和跨模态的细粒度对齐。
Apr, 2022
通过使用因果关系而非传统的似然方法,基于多模态情感分析(MSA)的多模式对比事实推断情感(MCIS)分析框架能够从具有有害偏见的观察中做出无偏决策,并有效地减轻数据集偏差的问题。
Mar, 2024
多领域面向方面的情感分析(ABSA)利用大型语言模型(LLMs)和特征感知的上下文学习技术,通过图注意力网络和多领域 ABSA 基准数据集等技术手段,在多个领域中取得了显著的性能提升。
Mar, 2024
多模态情感分析研究中,提出了一种称为 DQPSA 的新框架,其包含了 Prompt 作为 Dual Query(PDQ)模块和基于能量的 Pairwise Expert(EPE)模块,通过提取 Prompt 感知的视觉信息、加强视觉信息与分析目标之间的相关性以及模型边界配对,实现了在三个广泛使用的基准测试中超过以往方法并达到了最新的最佳性能。
Dec, 2023