Apr, 2024

TCAN: 面向文本的跨模态关注网络用于多模态情感分析

PDF
TL;DR多模态情感分析的研究中，我们引入了一个以文本为导向的交叉注意力网络（TCAN），强调文本在情感分析中的主导作用。通过对多模态样本进行自注意力和文本查询交叉注意力操作，我们减少了噪声信号和冗余特征的影响，并通过背向传播的方法实现了异质情感倾向的深入理解。实验证明，TCAN 在 CMU-MOSI 和 CMU-MOSEI 两个数据集上始终优于最先进的多模态情感分析方法。
multimodal sentiment analysistext-oriented cross-attention networkrepresentation learning techniquesfeature fusion strategiessemantic richness
发现论文，激发创造
  • 跨模态门控注意力融合用于多模态情感分析

    提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

    Aug, 2022

  • CAN: 用于多方面情感分析的受限注意力网络

    本文提出了约束注意力网络，它是一个简单而有效的解决方案，用于规范多方面情感分析中的注意力，从而缓解了注意机制的缺点，并在两个公共数据集上取得了很好的实验结果，并在多任务设置中超越了最先进的方法。

    Dec, 2018

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • CrisisKAN: 危机事件分类的知识注入和可解释的多模态注意力网络

    提出了 CrisisKAN，一种新颖的知识注入和可解释的多模态注意力网络，结合了来自维基百科的图像和文本以分类危机事件。实验证明，CrisisKAN 在解释性多模态事件分类领域超过了现有的最先进方法。

    Jan, 2024

  • 多模式统一关注网络用于视觉语言交互

    本研究提出了一种统一的注意力模型，能够同时捕捉多模态特征的内部和跨模态之间的相互作用，并输出相应的注意力表示。通过堆叠这样的统一注意力块，我们获得了深度多模态统一注意力网络 (MUAN)，可以无缝地应用于视觉问答 (VQA) 和视觉定位任务。通过在两个 VQA 数据集和三个视觉定位数据集上评估 MUAN 模型，结果表明 MUAN 在两个任务上都实现了顶级性能。

    Aug, 2019

  • 无监督图注意力自编码器用于带属性网络的 K 均值丢失

    利用最新的转换器和特征提取工具构建阿拉伯语多模态数据集，验证其在多模态学习中的效果，并展示阿拉伯语多模态研究的潜力。

    Nov, 2023

  • 基于多路注意力网络的基于检索的问答和响应预测模型

    本文提出了一种新的组合特征增强模型 ——MCAN，将关注机制用于特征增强，适用于会话建模和问答排名等多种任务，此模型可以同时执行多个关注类型和变形种类等多种操作，并且在四个基准数据集上取得了最好的性能表现。

    Jun, 2018

  • 多模态情感分析中的遗漏模态：一种知识迁移方法

    提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

    Dec, 2023

  • SCANet: 自我和交叉注意网络用于音视频语音分离

    提出了一种名为自注意力网络（SCANet）的模型，通过利用注意机制实现有效的音频 - 视觉特征融合，其中包含了自注意力块（SA）和交叉注意力块（CA），能够从音频 - 视觉特征中提取不同的语义信息，并在三个标准音频 - 视觉分离基准上得到了更好的效果。

    Aug, 2023

  • 交叉注意力不足：不协调感知的多模态情感分析和情绪识别

    通过层级交叉模态变压器与模态门控的轻量级模型，本文在情感和情绪分析领域，解决了多模态数据融合存在的潜在问题，提出了一种确定主要模态并逐层整合辅助模态的方法，发现了交叉模态关注中的跨模态不一致性并在三个基准数据集上验证了该方法的有效性，并使模型参数数量减少到不到 100 万个，同时表现出具有竞争力的结果。

    May, 2023