在时间连续的多模态情感识别中容纳缺失的模态

Nov, 2023

在时间连续的多模态情感识别中容纳缺失的模态

Accommodating Missing Modalities in Time-Continuous Multimodal Emotion Recognition

Juan Vazquez-Rodriguez, Grégoire Lefebvre, Julien Cumin, James L. Crowley

TL;DR提出了一种基于 Transformer 的架构，用于识别情绪的正性和负性，即使输入模态缺失，该模型通过交叉关注和自关注机制强调模态之间的关系，提高了对弱显著输入的学习过程，并在 Ul-TSST 数据集上实验，与后期融合基准方法相比，预测唤醒值的一致性相关系数的评估提高了 37％，预测价值的一致性相关系数的评估提高了 30%。

Abstract

Decades of research indicate that emotion recognition is more effective when drawing information from multiple modalities. But what if some modalities are sometimes missing? To address this problem, we propose a

emotion recognition multiple modalities transformer-based architecture missing input modalities valence and arousal

发现论文，激发创造

使用视觉、音频和文本特征进行多模态话语级情感分析

本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

May, 2018

多模态条件注意力融合在情感维度预测中的应用

该研究提出了一种名为条件注意融合的新型多模态融合策略，将长短期记忆循环神经网络应用为基础单模态模型，自动决定分配给不同情感模态的权重，获得了在情感价值预测方面优于多种常见融合策略的实验结果。

Sep, 2017

动态多模式及视角选择用于缺失模态的多模式情感识别

这项研究的重点是评估两种策略在缺少一个感知模态的情况下的表现和韧性：一种新颖的多模式动态模态和视角选择方法以及一种交叉注意机制。RECOLA 数据集上的结果表明动态选择方法是一种有前景的多模态情感识别方法。在缺失模态的场景下，所有基于动态选择的方法都优于基准测试。研究总结强调了音频和视频模态在情感预测中的复杂相互作用，展示了动态选择方法在处理缺失模态方面的适应性。

Apr, 2024

一分钟逐渐情感挑战的多模态情感识别

本文介绍了我们在 One-Minute-Gradual 情感挑战中，通过提取从视频中用多种声学，视频和文本模型提取的多模态表示，并使用支持向量机（SVM）融合多模态信号进行最终权值预测，实现了 CCC 得分 0.397 和 0.520。这超过了最佳 CCC 得分 0.15 和 0.23 的基线系统。

May, 2018

探索应用于紧急呼叫中心语料库的多模态情感识别的注意力机制

本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。

Jun, 2023

使用预训练转换器进行文本、语音和视频的多模态情绪识别

通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

Feb, 2024

多任务多模态预测分类和维度情感

多任务学习在语音情绪识别中的应用与多模态系统和情绪范畴及情绪维度的预测相关，通过跨任务正则化和特征融合提高模型表现。

Dec, 2023

多模态情感分析中的遗漏模态：一种知识迁移方法

提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

Dec, 2023

面向音视频表情识别的处理缺失模态的训练策略

研究了当其中一个模态缺失时，自动音视频表情识别中 transformer 模型的表现，通过消融实验和随机消融训练数据的策略，提高了模型的泛化性能。

Oct, 2020

交叉注意力不足：不协调感知的多模态情感分析和情绪识别

通过层级交叉模态变压器与模态门控的轻量级模型，本文在情感和情绪分析领域，解决了多模态数据融合存在的潜在问题，提出了一种确定主要模态并逐层整合辅助模态的方法，发现了交叉模态关注中的跨模态不一致性并在三个基准数据集上验证了该方法的有效性，并使模型参数数量减少到不到 100 万个，同时表现出具有竞争力的结果。

May, 2023