Mar, 2022

GCNet：用于对话中不完整多模态学习的图形完形网络

PDF
TL;DR该研究提出了一种用于在对话中进行不完整多模态学习的新型框架，名为 “Graph Complete Network (GCNet)”，包含两个基于图神经网络的模块 'Speaker GNN' 和 'Temporal GNN' 来捕捉时间和说话者间的依赖关系。实验结果表明，相比于现有的最先进方法，我们的 GCNet 在不完整多模态学习方面表现得更好。
conversationsincomplete multimodal learninggraph complete network (gcnet)temporal gnnspeaker dependencies
发现论文，激发创造
  • MMGCN：使用深度图卷积神经网络进行多模态融合的对话情绪识别

    研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

    Jul, 2021

  • GraphFlow：利用图神经网络挖掘对话流程进行对话机器理解

    本研究提出了 GraphFlow 模型，通过图形结构学习技术及 Recurrent Graph Neural Network 有效捕捉了磋商历史，并引入流机制建模上下文图形的时间依赖关系，从而提高了对话流的捕获能力，对 CoQA、QuAC 和 DoQA 等基准测试表现具有竞争力，而且可为推理过程提供良好的可解释性。

    Jul, 2019

  • GraphCFC: 一种基于有向图的跨模态特征补充方法，用于多模态对话情感识别

    通过构建跨模态特征补充的有向图模型，利用多个子空间提取器和配对交叉模态补充策略，设计了一种直接的基于图神经网络的跨模态情感识别模块 (GraphCFC)，并测试表明该模块在情感识别任务上表现优于目前最先进的方法。

    Jul, 2022

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020

  • MONET: 多模态图卷积网络和目标感知注意力在多媒体推荐中的应用

    本研究聚焦于使用图卷积网络（GCNs）的多媒体推荐系统，旨在更有效地利用多模态特征以准确捕捉用户对项目的偏好。通过提出模态包容 GCN（MeGCN）和目标感知注意力等两个核心思想，我们的实验表明 MONET 在七种最先进的竞争者中非常优越（在召回率 @20 方面比最佳竞争者高出 30.32％），并证明了 MONET 的两个核心思想的有效性。

    Dec, 2023

  • DialogueGCN: 基于图卷积神经网络的对话情感识别

    本研究介绍了 Dialogue Graph Convolutional Network (DialogueGCN) 的方法，使用图神经网络来进行 Emotion recognition in conversation (ERC)，并通过解决当前循环神经网络方法存在的上下文传播问题来提高情感分类效果。

    Aug, 2019

  • 基于图卷积网络的强化学习中的情感识别的实时多模态环境

    本文介绍一种创新的使用图卷积网络和强化学习的上下文化情感识别模型，通过对话分组和提取多模态特征实时识别多模态对话信号中的情感。与其他最先进的模型相比，该模型在 IEMOCAP 基准数据集上展现出了识别实时多模态对话信号中情感的优势。

    Oct, 2023

  • 从图谱谱域的角度重新审视对话中的多模态情感识别

    通过图谱视角，本文提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC，通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息，并通过对比学习构建自监督信号，以提高高频和低频信息对实际情感的反映能力，最后将其输入 MLP 网络和 softmax 函数进行情感预测。在两个基准数据集上的广泛实验证明了 GS-MCC 架构的优越性。

    Apr, 2024

  • 基于知识的生成式对话网络的对话数据增强

    通过生成式对话网络自动生成对话数据训练社交对话代理，通过自动生成会话，可以在可用的语言和知识数据的广度中受益；对于不带知识的对话，GCN 可以从种子数据泛化，产生新颖但不太相关但更吸引人的对话，对于知识基础的对话，则可以产生更注重知识、流畅和引人入胜的对话。

    Jul, 2022

  • IGCN：用于多模态数据的综合图卷积网络

    我们提出了一种名为 Integrative Graph Convolutional Networks (IGCN) 的新型综合神经网络方法，用于多模数据网络，通过为节点嵌入分配注意系数来将多个节点嵌入融合成加权形式，并且实验证明 IGCN 在多个数据领域的基准数据集上优于或与现有的最先进方法相媲美。

    Jan, 2024