Oct, 2022

多模态情感识别的多级 Transformer

PDF
TL;DR本文提出一种新的多层次转换器模型，将细粒度表示和预训练的话语级别表示相结合，结合不同的方法将音素级别嵌入与单词级别嵌入相结合，从而进行细粒度的多模式情感识别，最终在 IEMOCAP 数据集上，我们的模型均优于之前的最优方法。
multimodal emotion recognitionpre-trained modelmulti-granularity frameworktransformer modeliemocap dataset
发现论文，激发创造
  • 基于 Wav2vec 2.0 和 BERT 的多模态情感识别的多级融合

    该研究探讨了多模态情感识别问题，提出了使用迁移学习的方法，结合各种预训练模型和多级融合方法，以及多粒度特征提取的框架，从而在 IEMOCAP 数据集上取得了比最佳基线法高 1.3％的性能表现。

    Jul, 2022

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 多任务多模态预测分类和维度情感

    多任务学习在语音情绪识别中的应用与多模态系统和情绪范畴及情绪维度的预测相关，通过跨任务正则化和特征融合提高模型表现。

    Dec, 2023

  • 利用 Transformer 的调制融合进行语言 - 声学情感识别

    本文提出了基于 Transformer 和调制的两种极具轻量性能却强大的情感识别和情感分析解决方案，通过组合大量数据集的语言和语音输入来挑战、有时甚至超越这一领域的现有技术，并在 IEMOCAP、MOSI、MOSEI 和 MELD 数据集上评估和验证其性能。

    Oct, 2020

  • 基于多尺度 Transformer 网络的多生理信号情感识别

    本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

    May, 2023

  • 基于 Transformer 的多尺度多模态微表情识别算法

    本文提出了一种基于 Transformer 网络的多模态多尺度算法，通过微表情的运动和纹理两种特征完全学习微表情的局部多粒度特征，实现了不同尺度脸部局部区域特征的提取并在三个自然数据集上进行了综合实验。结果表明，该算法在单个测量 SMIC 数据库中的准确度高达 78.73％，在合并数据库的 CASMEII 上的 F1 值高达 0.9071，处于领先水平。

    Jan, 2023

  • 基于分层 Transformer 网络的话语级情感识别

    通过提出一种基于分层 Transformer 框架的情感识别方法，该方法结合了预训练语言模型和说话人嵌入，能在不同背景环境和不同说话人的情况下有效地捕捉言语的情感信息，实验结果表明该方法在三个对话数据集上分别取得了 1.98％、2.83％和 3.94％的 F1 宏平均分数提升。

    Feb, 2020