利用模态不变特征进行鲁棒性多模态情感识别（缺失模态）

Oct, 2022

利用模态不变特征进行鲁棒性多模态情感识别（缺失模态）

Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities

Haolin Zuo, Rui Liu, Jinming Zhao, Guanglai Gao, Haizhou Li

TL;DR本研究提出了使用不变特征的缺失模态想象网络解决异构模态之间的模态差异问题，改善了缺失模态预测的鲁棒性并提升了多模态情感识别表现。

Abstract

multimodal emotion recognition leverages complementary information across modalities to gain performance. However, we cannot guarantee that the data of all modalities are always present in practice. In the studies to predict the missing data across modalities, the inherent difference b

multimodal emotion recognition modality gap invariant features emotion recognition performance missing data prediction

发现论文，激发创造

缺失模态插值的统一多模态图像合成

该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

Apr, 2023

基于多模态基础模型的鲁棒多模态学习

提出了一种简单而有效的框架 TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，我们的模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明我们的方法在三个多模态情感分析基准数据集 CMU-MOSI、CMU-MOSEI 和 MELD 上具有优势。

Jan, 2024

面向缺失模态鲁棒性行为识别的良好实践

本文针对多模态动作识别及其中一些模态不可用情况提出一套良好的实践方法，包括数据增强、基于 Transformer 的融合方法以及一个名为 ActionMAE 的模块化网络。通过采用这些方法，建立一个不仅在多模态动作识别中有效，同时对于模态缺失情况也具有鲁棒性的模型，并在多个基准测试中实现了最新技术，并在模态缺失场景中保持有竞争力的表现。

Nov, 2022

通过参数高效适应处理缺失模态的鲁棒多模态学习

使用多模态学习提高下游任务的性能，并通过简单且参数高效的自适应过程针对缺失的模态实现鲁棒性。

Oct, 2023

多模导向网络用于缺失模态推断

提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

Sep, 2023

M2R2: 迭代数据增强的缺失模态鲁棒情感识别框架

本文讨论了缺失情感识别对话（ERC）任务中对话级情感识别以及不确定模式下的问题。我们提出了一种基于缺失模态的鲁棒情感识别框架（M2R2），其中通过学习通用表示进行迭代数据增强来训练情感识别模型。该框架采用了 Party Attentive Network（PANet）来跟踪所有发言人的状态和上下文，并通过采用与其他参与者之间的关注机制和对话主题来使对多时间和多方发言的依赖性分散化，从而解决了情感识别中的缺失问题。同时，我们还通过以对抗策略提高了缺失数据插值方法的数据增强效果，从而为缺失模态情感识别问题建立了额外特征。广泛的实验证明了我们的方法比基线更有效，适用于不同数据集的缺失模态情感识别。

May, 2022

不完整多模态情感数据的半监督深度生成建模

本文提出了一种基于多视角深度生成性框架的新方法，通过多模式专用生成网络对多模态情感数据的统计关系进行建模，基于高斯混合分布对共享潜在变量的后验分布进行假设，以解决单一模式情感数据识别困难、手动注释代价高昂、情感数据存在缺失模态问题等问题，并在两种真实的多模态情感数据集上进行了实验验证。

Jul, 2018

文本到图像模型在视觉模态缺失的多模态学习中的应用

通过用生成式变压器填补缺失的视觉数据，我们提出了一个简单但有效的多模态学习框架 GTI-MM，以增强数据效率和模型的鲁棒性，尤其是对于缺少视觉模态的情况。我们在多个多模态数据集上进行了全面的分析，包括模型的训练，结果显示合成图像有助于训练数据的效率，并提高在训练和测试中缺失视觉数据的模型的鲁棒性。此外，我们证明了 GTI-MM 对于生成数量较低和简单提示技术也是有效的。

Feb, 2024

多模态 Transformer 对缺失模态具有鲁棒性吗？

本研究旨在深入探究 Transformer 模型在缺失模态数据的情况下的行为，并发现最优融合策略是数据集相关的，因此提出一种自动搜索输入数据最优融合策略以提高 Transformer 模型鲁棒性的方法。实验证实了该方法在三个基准数据集上具有优异性能。

Apr, 2022

探索多模式自为视角数据集中的缺失模态

本研究通过引入 Missing Modality Token（MMT）的新概念，综合分析了缺失模态对自我中心动作识别的影响，并证明了 MMT 方法在处理缺失模态时的优越性。

Jan, 2024