Apr, 2024
动态多模式及视角选择用于缺失模态的多模式情感识别
Dynamic Modality and View Selection for Multimodal Emotion Recognition with Missing Modalities
Luciana Trinkaus Menon, Luiz Carlos Ribeiro Neduziak, Jean Paul Barddal, Alessandro Lameiras Koerich, Alceu de Souza Britto Jr
TL;DR这项研究的重点是评估两种策略在缺少一个感知模态的情况下的表现和韧性:一种新颖的多模式动态模态和视角选择方法以及一种交叉注意机制。RECOLA 数据集上的结果表明动态选择方法是一种有前景的多模态情感识别方法。在缺失模态的场景下,所有基于动态选择的方法都优于基准测试。研究总结强调了音频和视频模态在情感预测中的复杂相互作用,展示了动态选择方法在处理缺失模态方面的适应性。