Dec, 2023

多模态基于能量的方面情感分析新模型机制

HTML
PDF
TL;DR多模态情感分析研究中，提出了一种称为DQPSA的新框架，其包含了Prompt作为Dual Query（PDQ）模块和基于能量的Pairwise Expert（EPE）模块，通过提取Prompt感知的视觉信息、加强视觉信息与分析目标之间的相关性以及模型边界配对，实现了在三个广泛使用的基准测试中超过以往方法并达到了最新的最佳性能。
发现论文，激发创造
  • 寻求共性但又有区别的差异：联合基于方面的情感分析模型

    本研究在进行方面基情感分析 (ABSA) 任务时，提出了一种双编码器的设计方法，既保留了编码器共享的优点，又针对不同的任务进行了差异化改进，经实验证明，该模型在四个基准数据集上表现显著优于之前最先进的模型。

    Nov, 2021

  • 多模态方面情感分析的视觉语言预训练

    本文提出了一种面向多模态方面的情感分析的Vision-Language预训练框架（VLPMABSA），使用更加统一的多模态编码器-解码器体系结构来应对上一个视觉和文本模型分开预训练、或是总体预训练任务不够细致的问题，同时还设计了三种特定于该任务的语言、视觉和多模态预训练任务，并通过实验证明了本文方法在三个MABSA子任务上优于当前最先进方法的效果，且有助于情感、方面和跨模态的细粒度对齐。

    Apr, 2022

  • MACSA: 一个多模态的方面-类别情感分析数据集，包含多模态细粒度对齐注释

    本研究提出了Multimodal Aspect-Category Sentiment Analysis (MACSA) 数据集，其中包含了超过21K个文本-图像对，提供了针对文本和视觉内容的细粒度注释，并首次使用aspect category作为枢轴，对齐两种模态之间的细粒度元素。本研究建立了Multimodal ACSA任务和一个基于多模态图形对齐的融合模型(MGAM)，采用精细的跨模态融合方法。实验结果表明，本方法可以便于这个语料库未来研究的基线比较。本文中的数据集和代码将公开提供。

    Jun, 2022

  • 针对方面的情感分析的方面特定的上下文建模

    该研究旨在使用预训练语言模型（PLMs）建模特定方面的情感，通过提出三种基于方面的输入转换（即：方面伴侣、方面提示和方面标记）来促进PLM更好地关注特定方面的上下文，并在对SC和OE的标准和对抗性基准测试中，实现了最新的最佳结果和具有竞争力的结果。

    Jul, 2022

  • 基于序列跨模态语义图的方面情感分类

    本文提出了一种新的框架SeqCSG，其中包括构建顺序跨模态语义图和编码器-解码器模型方法，用于有效利用跨模态语义图进行多模态方面的情感分类，实验结果表明，我们的方法优于现有方法并在两个标准数据集中实现了最先进水平。

    Aug, 2022

  • AoM: 多模态基于方面的情感分析中检测面向方面的信息

    本研究提出了一种面向方面的方法（AoM），旨在检测与方面相关的语义和情感信息，并使用图卷积网络模拟视觉文本和文本之间的交互，明确地引入了情感嵌入，以准确地聚合情感信息。

    May, 2023

  • 基于句法的混合提示模型用于少样本多模态情感分析

    本文提出了一种混合模式的近似零样本多模态情感分析方法，结合手工提示和可学习提示，利用注意力机制优化提示编码器，在句子水平和方面水平数据集上取得了显著的性能优势。

    Jun, 2023

  • 越南多模态方面类别情感分析的新基准数据集和细粒度跨模态融合框架

    借助细粒度多模态信息改进维族多模态情感分析的研究工作中，我们提出了新的维语多模态数据集ViMACSA和一个Fine-Grained Cross-Modal Fusion Framework (FCMF)框架，通过学习内部和跨模态交互并融合信息来产生统一的多模态表示。实验结果显示该框架在ViMACSA数据集上超过了其他模型，达到了79.73%的最高F1分数，同时还研究了越南多模态情感分析的特点和挑战。

    May, 2024

  • 通过流水线预测和基于翻译的对齐，增强多模态情感分析

    多模态基于方面的情感分析 (MABSA) 研究了一个管道框架，其中首先通过 MATE 多模态方面术语抽取识别方面，然后将这些方面与图像补丁对齐用于情感分类 (MASC)，并且该方法在 Twitter-15 和 Twitter-17 数据集上取得了最先进的性能表现。

    May, 2024

  • 双卡巴变换器：Kolmogorov-Arnold网络与状态空间模型变换器用于多模态基于方面的情感分析

    本文针对多模态基于方面的情感分析（MABSA）中，现有模型在长距离依赖建模和视觉全局上下文依赖捕捉上的局限性，提出了一种新颖架构双卡巴变换器（DualKanbaFormer）。通过结合Kolmogorov-Arnold网络和选择性状态空间模型，有效提升了文本与图像的情感分析能力。实验结果表明，该模型在两个公共数据集上超过了一些现有的最先进研究。

    Aug, 2024