multimodal emotion recognition | BriefGPT

关键词multimodal emotion recognition

搜索结果 - 27

利用辅助任务在 Wav2vec 2.0 和 BERT 的多模态融合中进行多模态情感识别
这篇研究通过在两种模态数据上使用预训练模型进行微调，使用 K 层多头注意机制进行下游融合，设计两种辅助任务以提高情感识别的表现，相比其他最先进的模型在 IEMOCAP 数据集上实现了更好的性能。
PDFa year ago
基于知识感知的多模态情感识别贝叶斯共同关注
该研究提出了使用贝叶斯注意力模块（BAM）来增强来自不同模态的预先训练模型的协同注意力融合，以有效融入外部情感相关知识以学习情感相关知识，实验证明该方法能够超过最先进方法至少 0.7 个百分点的准确度。
PDFa year ago
利用模态不变特征进行鲁棒性多模态情感识别（缺失模态）
本研究提出了使用不变特征的缺失模态想象网络解决异构模态之间的模态差异问题，改善了缺失模态预测的鲁棒性并提升了多模态情感识别表现。
PDF2 years ago
多模态情感识别的多级 Transformer
本文提出一种新的多层次转换器模型，将细粒度表示和预训练的话语级别表示相结合，结合不同的方法将音素级别嵌入与单词级别嵌入相结合，从而进行细粒度的多模式情感识别，最终在 IEMOCAP 数据集上，我们的模型均优于之前的最优方法。
PDF2 years ago
一种多模交互情感识别中的去偏置、情感知识增强 Transformer
通过提出一系列方法缓解文字表达和视觉表现中五种典型偏见（性别，年龄，种族，宗教和 LGBTQ+）的影响，本研究首次尝试解决情感识别中的多重偏见问题，提出了一种多重偏见缓解、情感知识增强的双模换能器模型（MMKET），实验结果表明该模型有效降
PDF2 years ago
基于 Wav2vec 2.0 和 BERT 的多模态情感识别的多级融合
该研究探讨了多模态情感识别问题，提出了使用迁移学习的方法，结合各种预训练模型和多级融合方法，以及多粒度特征提取的框架，从而在 IEMOCAP 数据集上取得了比最佳基线法高 1.3％的性能表现。
PDF2 years ago
ACL基于上下文化图神经网络的多模态情感识别 COGMEN
本文提出了一种基于上下文图神经网络的多模态情感识别系统 (COGMEN)，该模型利用本地信息和全局信息来模拟对话中复杂的依赖关系，并通过 IEMOCAP 和 MOSEI 数据集取得了最优结果。
PDF2 years ago