MMAug, 2021

HetEmotionNet: 用于多模态情感识别的双流异质图递归神经网络

PDF
TL;DR本研究提出了一种新颖的两流异构图递归神经网络，名为 HetEmotionNet，该网络可以融合多模态生理信号用于情感识别，并在两个实际数据集上取得了比现有基准更好的性能。
human emotionmultimedia stimulationphysiological signalsemotion recognitionneural network
发现论文，激发创造
  • 情感识别的时空循环神经网络

    本研究提出一种名为 STRNN 的深度学习框架来将人类情感信息的两种不同信号源进行学习，以便对情绪进行永久跟踪和分析，并在公共情感数据集上取得更具竞争力的结果。

    May, 2017

  • 一种具有图平滑信号的混合时空注意力神经网络用于 EEG 情绪识别

    我们引入了一个深度神经网络用于情感分类，通过混合的时空编码和循环注意网络块获取可解释的生理学表示，并应用图信号处理工具对原始数据进行预处理以在空间域中进行图平滑。我们证明了我们的架构在公开可用的 DEAP 数据集上超过了最先进的情感分类结果，并通过转移学习的方式在 DREAMER 和情感英语词（EEWD）数据集上提高了情感分类准确性。

    Jul, 2023

  • 超复模态脑电和周边生理信号的情绪识别

    通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

    Oct, 2023

  • H2G2-Net: 多模态生理响应发现的分层异质图生成网络框架

    提出了一种自动学习无领域知识下的层次异构图生成网络（H2G2-Net），以及一种端到端的强大的层次异构图表示方法，用于预测人类的认知状态，并在实验中验证了其在多模态生理信号方面的优越性。

    Jan, 2024

  • GeThR-Net: 通用时间混合循环神经网络用于多模态信息融合

    提出了一种新颖的深度神经网络架构，该架构能够智能地组合来自多种模态的时间流数据且表现优于目前最佳的多模态网络算法。

    Sep, 2016

  • 利用异构图神经网络生成情感对话

    本文提出了基于异构图模型的情感对话生成方法，利用对话历史记录、情感流、面部表情、音频和说话人个性等多维信息来编码对话内容并生成适当情感的响应，实验结果表明，该方法可以有效地感知多源知识并生成令人满意的响应。

    Dec, 2020

  • 时间建模至关重要：一种新的面向语音情感识别的时间情感建模方法

    本文介绍了一种基于时间的情感建模方法，称为 TIM-Net，它学习来自各种时间尺度的多尺度情境情感表示，并用于提高语音情感识别的性能，实验结果表明 TIM-Net 在六个基准数据集上表现出优异的性能。

    Nov, 2022

  • 基于多尺度 Transformer 网络的多生理信号情感识别

    本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

    May, 2023

  • 基于图对比学习的双阶段多模态情感识别模型

    我们提出了一种基于图形对比学习的两阶段情感识别模型（TS-GCL），通过将多模态数据与其他结构引入图形对比学习（GCL）策略，来学习模态内部和模态之间的相似性和差异性，并且通过两次使用 MLP 来实现最终的情感分类，实验证明，TS-GCL 在 IEMOCAP 和 MELD 数据集上相对于以往的方法具有卓越性能。

    Jan, 2024

  • 用于语音和文本数据的多模态情感识别的卷积注意力网络

    本文提出了一种使用卷积注意网络学习语音和文本数据之间隐藏表示的新方法，较之之前的表现更好，能更好地识别出 CMU-MOSEI 数据集中包含的来自语音和文本数据的情感。

    May, 2018