May, 2024

ESIHGNN：对话情绪识别的事件 - 状态交互融合异构图神经网络

PDF
TL;DR我们提出了一种新颖的基于图的方法，即事件 - 状态交互注入异构图神经网络 (ESIHGNN)，它结合了说话者的情绪状态并构建了一个异构的事件 - 状态相互作用图来建模对话，通过动态更新和增强每个轮次中事件和情绪状态的表示来改善对话的连贯性和一致性。此外，为了进一步提高情感识别性能，我们利用外部知识丰富了图的边缘。在四个公开可用的情感识别数据集上的实验结果表明了我们方法的优越性以及引入的异构事件 - 状态相互作用图的有效性。
conversational emotion recognitiongraph-based methodsevent-state interactionheterogeneous graph neural networkreal-time modeling
发现论文，激发创造
  • 利用异构图神经网络生成情感对话

    本文提出了基于异构图模型的情感对话生成方法，利用对话历史记录、情感流、面部表情、音频和说话人个性等多维信息来编码对话内容并生成适当情感的响应，实验结果表明，该方法可以有效地感知多源知识并生成令人满意的响应。

    Dec, 2020

  • DialogueGCN: 基于图卷积神经网络的对话情感识别

    本研究介绍了 Dialogue Graph Convolutional Network (DialogueGCN) 的方法，使用图神经网络来进行 Emotion recognition in conversation (ERC)，并通过解决当前循环神经网络方法存在的上下文传播问题来提高情感分类效果。

    Aug, 2019

  • DER-GCN: 多模态对话情感识别中的对话和事件关系感知图卷积神经网络

    提出了一种新颖的基于对话和事件关系感知的图卷积神经网络用于多模态情感识别，该方法通过建立加权多关系图来捕捉说话者之间的对话关系和事件关系，设计了多重信息变换器以捕捉不同关系之间的相关性，通过对比学习的损失优化策略增强了少数类特征的表示学习能力。实验证明，DER-GCN 模型在情感识别方面显著提高了平均准确率和 F1 值。

    Dec, 2023

  • 基于图卷积网络的强化学习中的情感识别的实时多模态环境

    本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。

    Oct, 2023

  • 高效远距离潜在关系感知的多模态情感识别对话图神经网络

    本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能，分别将运行时间减少了 52% 和 35%。

    Jun, 2024

  • 面向会话情感识别的有向无环图网络

    介绍了一种基于有向无环图（DAG）进行对话建模的方法，通过设计一个有向无环神经网络 （DAG-ERC）来实现，其提供了更直观的模型，能够更好地模拟长距离对话背景和近距离上下文之间的信息流，并以四个情感识别基准测试集为例，结果表明该模型的优越性以及有向无环图结构在情感识别上的潜在价值。

    May, 2021

  • LineConGraphs：利用图神经网络进行有效情感识别的线性对话图

    情感识别对话（ERC）是情感计算的重要方面，它在医疗保健、教育、聊天机器人和社交媒体平台等方面具有许多实际应用。我们提出了适用于 ERC 分析的新型线性对话图卷积网络（LineConGCN）和图注意力（LineConGAT）模型，并评估了模型在两个基准数据集上的表现，证明了 LineConGAT 模型在 F1 得分为 64.58％和 76.50％的情况下优于最先进的方法。此外，我们还证明将情感变化信息嵌入到对话图中进一步提高了 GCN 模型的 ERC 性能。

    Dec, 2023

  • 基于上下文化图神经网络的多模态情感识别 COGMEN

    本文提出了一种基于上下文图神经网络的多模态情感识别系统 (COGMEN)，该模型利用本地信息和全局信息来模拟对话中复杂的依赖关系，并通过 IEMOCAP 和 MOSEI 数据集取得了最优结果。

    May, 2022

  • 超图回响状态网络

    这篇文章介绍了一种超图回声状态网络（HypergraphESN）作为图回声状态网络（GraphESN）的推广，旨在高效处理超图结构数据，并导出了算法的收敛条件，讨论了与 GraphESN 相比的多样性。对于超图结构数据，对二元分类任务的数值实验表明，HypergraphESN 与 GraphESN 相比具有相当或更好的准确性性能，并且准确性会随着发现网络中更多的高阶交互作用而增加。

    Oct, 2023

  • 用辅助说话人识别的多任务学习进行对话情感识别

    本文探讨了会话情感识别 (CER) 的问题，考虑到说话人的信息对于识别情感的影响，提出利用说话人鉴别任务 (SI) 辅助提升对话中话语的表示。实验结果表明，该方法能够有效提高 CER 的性能，达到了两个基准数据集的最优结果。

    Mar, 2020