本篇研究利用多模态方法提高情感识别的准确性，提出了一种多模态融合网络 M2FNet，利用视觉、音频和文本模态提取情感相关特征，并使用多头注意力机制进行融合。经实验验证，该方法在 MELD 和 IEMOCAP 数据集上表现显著优于其他方法，达到了情感识别领域的最新性能表现。

Jun, 2022

基于向量连接的跨模态融合情感预测网络，包括多模态特征融合阶段和基于融合特征的情感分类阶段，同时设计了基于情感标签的监督式跨类对比学习模块，实验证实了该方法的有效性，并在 IEMOCAP 和 MELD 数据集上展现出优异的性能。

May, 2024

本文提出了一种新的多模态动态融合网络（MM-DFN），用于在对话中全面理解多模态的情境信息，通过设计新的基于图的动态融合模块来减少信息冗余并增强不同语义空间中的上下文信息的补充性，对两个公共基准数据集进行了广泛的实验，证明了 MM-DFN 的有效性和优越性。

Mar, 2022

本文提出了一种多模态 ERC 模型，并在其上添加了情感转移组件以提高性能，在 MOSEI 和 IEMOCAP 数据集上的结果表明，情感转移信号的加入有助于该模型优于现有的 ERC 模型。

Dec, 2021

本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。

Jun, 2023

通过教师引导的多模融合网络（TelME），本文提出了一种在对话系统中实现情绪识别的方法，通过跨模态知识蒸馏来提高非语言模态在情绪识别中的功效，并使用学生网络支持教师实现多模态特征的结合。在 ERC 的多说话人对话数据集 MELD 中，TelME 实现了最先进的性能。通过额外的实验证明了我们组件的有效性。

Jan, 2024

在对话情景下，针对 MM-ERC（对话中的多模态情感分析）的任务，本研究通过多模态特征解缠和融合，同时模型特征的多模态性和对话背景的建模，以推动任务表现，提出了一种双层解缠机制和特征融合机制，成功地在两个公共数据集上实现了最新的最优性能，并通过进一步的分析证明了这些机制对提升 MM-ERC 任务的帮助，并具有促进其他多模态对话任务的潜力。

Aug, 2023

通过构建跨模态特征补充的有向图模型，利用多个子空间提取器和配对交叉模态补充策略，设计了一种直接的基于图神经网络的跨模态情感识别模块 (GraphCFC)，并测试表明该模块在情感识别任务上表现优于目前最先进的方法。

Jul, 2022

本文介绍了一种引入 ASR 错误检测和修正的辅助任务来增强 ASR 文本的语义连贯性，并进一步提出了一种新颖的多模态融合方法，名为 MF-AED-AEC。实验结果表明，MF-AED-AEC 在性能上显著优于基线模型 4.1%。

Jan, 2024

本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

Nov, 2022