Oct, 2023

基于图卷积网络的强化学习中的情感识别的实时多模态环境

PDF
TL;DR本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。
generative artificial intelligencelarge language modelsconversational agentsemotion recognitiongraph convolutional network
发现论文，激发创造
  • DialogueGCN: 基于图卷积神经网络的对话情感识别

    本研究介绍了 Dialogue Graph Convolutional Network (DialogueGCN) 的方法，使用图神经网络来进行 Emotion recognition in conversation (ERC)，并通过解决当前循环神经网络方法存在的上下文传播问题来提高情感分类效果。

    Aug, 2019

  • 高效远距离潜在关系感知的多模态情感识别对话图神经网络

    本文提出了一种用于对话中多模态情绪识别的高效远程潜在关系感知图神经网络（ELR-GNN），通过捕捉全局话语之间的潜在依赖关系和语义关联，结合早期融合和自适应后期融合机制，实现了情感预测，并在 IEMOCAP 和 MELD 基准数据集上取得了最先进的性能，分别将运行时间减少了 52% 和 35%。

    Jun, 2024

  • LineConGraphs：利用图神经网络进行有效情感识别的线性对话图

    情感识别对话（ERC）是情感计算的重要方面，它在医疗保健、教育、聊天机器人和社交媒体平台等方面具有许多实际应用。我们提出了适用于 ERC 分析的新型线性对话图卷积网络（LineConGCN）和图注意力（LineConGAT）模型，并评估了模型在两个基准数据集上的表现，证明了 LineConGAT 模型在 F1 得分为 64.58％和 76.50％的情况下优于最先进的方法。此外，我们还证明将情感变化信息嵌入到对话图中进一步提高了 GCN 模型的 ERC 性能。

    Dec, 2023

  • MMGCN：使用深度图卷积神经网络进行多模态融合的对话情绪识别

    研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

    Jul, 2021

  • DialogueCRN: 上下文推理网络用于对话中情感识别

    提出基于情绪认知理论的多轮递推式推理模块和上下文推理网络的设计，用于提取和整合情感线索以充分理解对话上下文，并在三个公共基准数据集上进行广泛实验，证明了模型的有效性和卓越性。

    Jun, 2021

  • 基于上下文化图神经网络的多模态情感识别 COGMEN

    本文提出了一种基于上下文图神经网络的多模态情感识别系统 (COGMEN)，该模型利用本地信息和全局信息来模拟对话中复杂的依赖关系，并通过 IEMOCAP 和 MOSEI 数据集取得了最优结果。

    May, 2022

  • 基于关系时间图神经网络和辅助跨模态交互的对话理解

    通过模态特异性的方式，CORECT 有效地捕捉了会话级的跨模态交互和话语级的时间依赖性，以提高情感识别的效果。

    Nov, 2023

  • 基于强化学习的情感编辑约束对话生成

    本论文提出了一种结合强化学习和情感编辑约束的会话内容生成模型，将回复分成三个从预生成的关键词中获得的子句，并使用情感编辑器进一步优化最终回复，实验表明该模型可以提高回复的流畅度、逻辑相关性和情感相关性。

    Apr, 2019

  • 基于深度学习的多模态对话情感识别综合调查

    综述了多模式对话情感识别的建模方法，大致划分为无上下文建模、顺序上下文建模、说话人差异建模和说话人关系建模四个类别，并讨论了多模式特征提取方法、应用领域、挑战和未来发展方向。希望能够帮助研究人员理解当前情感识别研究的现状，提供一些启示，并开发出更高效的模型。

    Dec, 2023

  • 上下文感知孪生网络在会话中高效的情感识别

    通过深度学习模型，本研究提出了一种基于度量学习和 Siamese 网络架构的方法来进行情感识别对话任务，取得了 57.71 的宏 F1 得分，相较于相关研究有了显著的提升。

    Apr, 2024