本文提出了可解释的基于图的神经模型MTAG，通过构建多模态序列数据的图，设计了MTAG融合操作和动态修剪和读取技术。MTAG仅关注图中重要的交互，可在情感分析和情感识别基准测试中实现最先进的性能，同时使用了显著更少的模型参数。

Oct, 2020

研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

Jul, 2021

本文提出了一种新的多模态动态融合网络（MM-DFN），用于在对话中全面理解多模态的情境信息，通过设计新的基于图的动态融合模块来减少信息冗余并增强不同语义空间中的上下文信息的补充性，对两个公共基准数据集进行了广泛的实验，证明了MM-DFN的有效性和优越性。

Mar, 2022

通过构建跨模态特征补充的有向图模型，利用多个子空间提取器和配对交叉模态补充策略，设计了一种直接的基于图神经网络的跨模态情感识别模块(GraphCFC)，并测试表明该模块在情感识别任务上表现优于目前最先进的方法。

Jul, 2022

在对话情景下，针对MM-ERC（对话中的多模态情感分析）的任务，本研究通过多模态特征解缠和融合，同时模型特征的多模态性和对话背景的建模，以推动任务表现，提出了一种双层解缠机制和特征融合机制，成功地在两个公共数据集上实现了最新的最优性能，并通过进一步的分析证明了这些机制对提升MM-ERC任务的帮助，并具有促进其他多模态对话任务的潜力。

Aug, 2023

通过模态特异性的方式，CORECT有效地捕捉了会话级的跨模态交互和话语级的时间依赖性，以提高情感识别的效果。

Nov, 2023

通过提出一种多模态注意力网络，将跨模态注意力注入每个层级的特定模态中，从而整合多模态数据特征，实现情感识别，并通过多模态可解释性可视化模块使模型的情感预测能够理解其推理过程。

Jan, 2024

通过图谱视角，本文提出了基于图谱的多模态一致性和互补协同学习框架GS-MCC，通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息，并通过对比学习构建自监督信号，以提高高频和低频信息对实际情感的反映能力，最后将其输入MLP网络和softmax函数进行情感预测。在两个基准数据集上的广泛实验证明了GS-MCC架构的优越性。

Apr, 2024

我们参与了SemEval 2024任务3，重点研究了对话中的多模态情绪因果分析。我们设计了一个早期原型系统，使用基于图的依存解析方法来识别多方对话中的因果情绪关系。我们的模型包括一个基于神经变换器的编码器，用于提供多模态对话数据的语境，以及一个基于图的解码器，用于生成因果图的邻接矩阵得分。在Subtask 1中，我们在15个有效和官方的提交中排名第7，仅使用文本输入。在后期评估中，我们还讨论了在Subtask 2中使用多模态输入的参与情况。

May, 2024

本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在IEMOCAP和MELD基准数据集上取得了最先进的性能，分别将运行时间减少了52%和35%。

Jun, 2024