基于上下文化图神经网络的多模态情感识别 COGMEN
本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型,通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比,该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。
Oct, 2023
研究提出了一种基于多模态融合图卷积网络的情感识别模型,该模型能够更有效地利用多模态和长距离语境信息,并利用说话人信息对说话人之间和说话人内部依存关系进行建模,实验结果表明该模型在多模态交互下表现优异。
Jul, 2021
本文提出了基于异构图模型的情感对话生成方法,利用对话历史记录、情感流、面部表情、音频和说话人个性等多维信息来编码对话内容并生成适当情感的响应,实验结果表明,该方法可以有效地感知多源知识并生成令人满意的响应。
Dec, 2020
本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络(ELR-GNN),通过捕捉全局话语之间的潜在依赖关系和语义关联,结合早期融合和自适应后期融合机制,实现了情感预测,并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能,分别将运行时间减少了 52% 和 35%。
Jun, 2024
本文提出了一种端到端的 RNN 架构,用于处理多模态情感分析和情感检测,该模型考虑到了当前系统所存在的缺点并展现出了领先的性能。
Feb, 2020
通过图谱视角,本文提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC,通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息,并通过对比学习构建自监督信号,以提高高频和低频信息对实际情感的反映能力,最后将其输入 MLP 网络和 softmax 函数进行情感预测。在两个基准数据集上的广泛实验证明了 GS-MCC 架构的优越性。
Apr, 2024
EmotiCon 是一个基于学习的算法,用于从视频和图片中识别上下文感知的人类情感。该算法利用多种模态,自注意力卷积神经网络以及深度图模型识别情感,提高了对 EMOTIC 和 GroupWalk 数据集中情感进行识别的准确率。
Mar, 2020
本文介绍了一个基于多通道注意力图卷积网络(MAGCN)的多模态情感分析框架,它将情感知识融合到跨模态交互学习中,并在多个数据集上实现了竞争性表现。
Jan, 2022
提出基于情绪认知理论的多轮递推式推理模块和上下文推理网络的设计,用于提取和整合情感线索以充分理解对话上下文,并在三个公共基准数据集上进行广泛实验,证明了模型的有效性和卓越性。
Jun, 2021