标签辅助下的不确定缺失多模态情感分析

SIGIRApr, 2022

标签辅助下的不确定缺失多模态情感分析

Tag-assisted Multimodal Sentiment Analysis under Uncertain Missing Modalities

Jiandian Zeng, Tianyi Liu, Jiantao Zhou

TL;DR本文提出了一个标签辅助的 Transformer 编码器网络 (TATE)，以解决缺失不确定多重语境的问题，在 CMU-MOSI 和 IEMOCAP 数据集上进行广泛实验，与几个基线相比实现了显着的改进，从而实现了缺失模态的情感分类。

Abstract

multimodal sentiment analysis has been studied under the assumption that all modalities are available. However, such a strong assumption does not always hold in practice, and most of multimodal fusion models may fail when partial modalities are missing. Several works have addressed the

multimodal sentiment analysis missing modalities tag-assisted transformer encoder transformer encoder-decoder network sentiment classification

发现论文，激发创造

多模态情感分析中的遗漏模态：一种知识迁移方法

提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

Dec, 2023

基于多模态基础模型的鲁棒多模态学习

提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。

Jan, 2024

在时间连续的多模态情感识别中容纳缺失的模态

提出了一种基于 Transformer 的架构，用于识别情绪的正性和负性，即使输入模态缺失，该模型通过交叉关注和自关注机制强调模态之间的关系，提高了对弱显著输入的学习过程，并在 Ul-TSST 数据集上实验，与后期融合基准方法相比，预测唤醒值的一致性相关系数的评估提高了 37％，预测价值的一致性相关系数的评估提高了 30%。

Nov, 2023

TransModality: 多模态情感分析的端到端 Transformer 融合方法

通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

Sep, 2020

张量融合网络用于多模态情感分析

本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

Jul, 2017

稀疏多模态融合与模态通道注意力

研究了当模态样本稀疏对齐时，掩蔽多模态变换器架构学习鲁棒嵌入空间的能力，并通过测量嵌入空间的质量作为模态稀疏的函数来验证。提出了一种扩展的掩蔽多模态变换器模型，它在多头注意机制中结合了模态不完整通道，称为模态通道注意（MCA）。使用两个数据集进行实验，分别为多模态情感识别的 CMU-MOSEI 和多组学的 TCGA。结果表明，在大多数样本中，模型能够学习到统一和对齐的嵌入空间，即使只有四个模态中的两个。结果还表明，即使没有模态稀疏，提出的 MCA 机制仍能提高生成嵌入空间的质量、召回指标以及下游任务的性能。

Mar, 2024

探索多模式自为视角数据集中的缺失模态

本研究通过引入 Missing Modality Token（MMT）的新概念，综合分析了缺失模态对自我中心动作识别的影响，并证明了 MMT 方法在处理缺失模态时的优越性。

Jan, 2024

面向缺失模态鲁棒性行为识别的良好实践

本文针对多模态动作识别及其中一些模态不可用情况提出一套良好的实践方法，包括数据增强、基于 Transformer 的融合方法以及一个名为 ActionMAE 的模块化网络。通过采用这些方法，建立一个不仅在多模态动作识别中有效，同时对于模态缺失情况也具有鲁棒性的模型，并在多个基准测试中实现了最新技术，并在模态缺失场景中保持有竞争力的表现。

Nov, 2022

交叉注意力不足：不协调感知的多模态情感分析和情绪识别

通过层级交叉模态变压器与模态门控的轻量级模型，本文在情感和情绪分析领域，解决了多模态数据融合存在的潜在问题，提出了一种确定主要模态并逐层整合辅助模态的方法，发现了交叉模态关注中的跨模态不一致性并在三个基准数据集上验证了该方法的有效性，并使模型参数数量减少到不到 100 万个，同时表现出具有竞争力的结果。

May, 2023

遥感数据融合的不完全多模态学习

本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

Apr, 2023