Jul, 2022

加权多聚合器图同构网络用于语音情感识别

PDF
TL;DR本文提出一种基于图同构网络的语音情感识别（SER）网络，采用带权重的多聚合器（WMA-GIN）、全邻接层（FA）、多阶段注意机制和多损失训练策略，以解决 GIN 结构的邻居节点特征聚合容易导致的信息混淆、以及所有 GIN 等图神经网络结构的过度压缩问题，实现了比其它基于图神经网络和某些非图神经网络方法更好的结果，在 IEMOCAP 数据集中取得了 72.48% 和 67.72% 的加权和不加权识别精度。
speech emotion recognitiongraph isomorphism networkattention mechanismmulti-loss trainingiemocap dataset
发现论文，激发创造
  • 使用图神经网络进行语音情感识别的表征学习

    本论文采用基于余弦相似度的图卷积神经网络 (CoGCN) 框架来进行情感识别的表达学习，该方法对于噪声和扰动具有鲁棒性，只需使用 1/30 的参数即可获得与最先进的方法相当的结果。

    Aug, 2022

  • RBA-GCN: 情绪识别的关系双层聚合图卷积网络

    通过构建新颖的图形及聚类方法，以及利用双层聚合模型捕获多模态相互作用和长程信息，提出一种提高情绪识别在对话中性能的新方法，该方法在多个数据集上相较于最先进的方法，F1 分数有 2.17％~5.21％的提升。

    Aug, 2023

  • MMGCN：使用深度图卷积神经网络进行多模态融合的对话情绪识别

    研究提出了一种基于多模态融合图卷积网络的情感识别模型，该模型能够更有效地利用多模态和长距离语境信息，并利用说话人信息对说话人之间和说话人内部依存关系进行建模，实验结果表明该模型在多模态交互下表现优异。

    Jul, 2021

  • 基于上下文化图神经网络的多模态情感识别 COGMEN

    本文提出了一种基于上下文图神经网络的多模态情感识别系统 (COGMEN)，该模型利用本地信息和全局信息来模拟对话中复杂的依赖关系，并通过 IEMOCAP 和 MOSEI 数据集取得了最优结果。

    May, 2022

  • 元权重图神经网络：将极限推向超越全局同质化

    本文介绍了一个名为 Meta Weight Graph Neural Network 的模型，该模型可以自适应地构建不同节点的图卷积层来提高图神经网络的表达能力，其通过使用元权重模型来生成自适应图卷积来提高节点表示，并在真实和合成基准测试中进行了广泛的实验证明了其在处理具有不同分布的图数据方面具有出色的表现。

    Mar, 2022

  • 交织图与注意力网络用于三维人体姿势估计

    本文介绍了利用 Interweaved Graph and Attention Network 技术来进行从单视图图像中进行 3D 人体姿势估计的方法，结果表明该方法在 Human3.6M 和 MPI-INF-3DHP 两个流行的基准数据集上均达到了最先进的表现。

    Apr, 2023

  • 从图谱谱域的角度重新审视对话中的多模态情感识别

    通过图谱视角，本文提出了基于图谱的多模态一致性和互补协同学习框架 GS-MCC，通过使用滑动窗口构建多模态交互图、利用高频和低频信息提取方法来反映长程一致性和互补性信息，并通过对比学习构建自监督信号，以提高高频和低频信息对实际情感的反映能力，最后将其输入 MLP 网络和 softmax 函数进行情感预测。在两个基准数据集上的广泛实验证明了 GS-MCC 架构的优越性。

    Apr, 2024

  • 可扩展的多粒度融合网络用于基于方面的情感分析

    该研究介绍了一种名为 “Extensible Multi-Granularity Fusion（EMGF）网络” 的方法，通过整合依赖句法、常量句法、注意力语义和外部知识图等信息，有效地利用每个粒度特征和它们之间的协同作用，实现了累积效应，而不会增加额外的计算费用。在 SemEval 2014 和 Twitter 数据集上的实验结果验证了 EMGF 方法对现有 ABSA 方法的优越性。

    Feb, 2024

  • 基于情感因果关系的门控多尺度时间卷积网络用于语音情感识别

    本文提出一种 Gated Multi-scale Temporal Convolutional Network (GM-TCNet) 情感因果表示学习模型，通过构建多尺度感受野的情感因果表示学习模块来捕捉情感动态，并利用跳跃连接融合不同门卷积块中的高级特征以捕捉人类语音中丰富微妙的情感变化进行语音情感识别，与最先进的技术相比具有更高的性能表现。

    Oct, 2022

  • 一个模型无关的图神经网络用于整合局部和全局信息

    我们提出了一个新的模型无关的图神经网络（MaGNet）框架，能够顺序地集成不同顺序的信息，从高阶邻居中提取知识，并通过识别有影响力的紧凑图结构来提供有意义、可解释的结果。理论上，我们通过经验 Rademacher 复杂性建立了 MaGNet 的泛化误差界，并展示了它在表示逐层邻域混合方面的能力。使用模拟数据进行了全面的数值研究，证明了 MaGNet 相对于几种最先进的替代方法的卓越性能。此外，我们将 MaGNet 应用于一个从脑活动数据中提取关键信息的实际案例研究，从而突显了它在推动科学研究方面的有效性。

    Sep, 2023