Feb, 2024

使用全卷积神经网络进行非固定长度语音的情感分析

PDF
TL;DR提出了一种情感分析方法，能够接受任意长度的音频，使用 Mel spectrogram 和 Mel Frequency Cepstral Coefficients 作为音频描述方法，并提出了一种全卷积神经网络架构作为分类器。通过使用 EMODB，RAVDESS 和 TESS 这三个知名数据集对结果进行了验证，结果令人满意，超过了现有方法的水平。由于该方法允许分析任意大小的音频，因此可以实时进行情感分析，对诸如呼叫中心、医疗咨询或金融经纪等广泛应用领域非常有意义。
sentiment analysisaudiomel spectrogramfully convolutional neural networkreal time
发现论文，激发创造
  • 基于注意力卷积神经网络的语音情感识别：输入特征、信号长度和演讲语音影响的研究

    本文介绍了使用具有多视角学习目标函数的关注卷积神经网络进行语音情感识别的实验研究，对比了不同输入信号长度、不同类型的声学特征和不同类型的情感语音 (即兴 / 编剧) 对系统表现的影响，结果显示，除了输入特征选择外，模型的性能强烈依赖于语音数据类型，进一步实现了 IEMOCAP 上即兴语音数据的最优结果。

    Jun, 2017

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • 使用深度学习框架评估语音情感识别的原始波形

    通过直接利用六个不同数据集的原始音频文件进行训练，本研究提出了一种模型用于识别情感，没有进行特征提取阶段。该模型通过支持向量机、决策树、朴素贝叶斯、随机森林等机器学习算法，以及集成学习和深度学习技术进行评估，并与现有的方法进行比较。实验证明，使用原始音频文件的 CNN 模型在 TESS+RAVDESS 数据集上取得了 95.86% 的准确率，从而成为了新的最先进方法。在说话人无关的音频分类问题中，该模型在 EMO-DB，RAVDESS，TESS 和 SAVEE 数据集上分别取得了 90.34%，90.42%，99.48% 和 85.76% 的准确率。

    Jul, 2023

  • AHD ConvNet 语音情绪分类

    本文提出了一种新的基于孪生网络的 mel 频谱学习方法，用于从 CREMA-D 数据集中的 wav 形式的语音记录中学习情感，所提出的模型使用对数 mel - 频谱图作为特征，mels 数量为 64，在情感语音识别的问题上，相对于其他方法，本方法所需的训练时间更短。

    Jun, 2022

  • 朝着端到端可解释的卷积神经网络发展音波信号

    用卷积神经网络构建高效且可解释的端到端音频深度学习模型，通过在三个标准语音情感识别数据集上的实验验证，我们的框架在效率和可解释性方面表现优越，对抗 Mel 频谱特征有高达 7% 的改进；还揭示了前端层在处理复杂的长波形模式方面的高效性和可解释性，通过 PhysioNet 心音数据库的实例进行了论证，为处理原始波形数据构建了可移植的有效模型解决方案。

    May, 2024

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 在语音情感识别中使用谐振和打击成分的杠杆化 Mel 频谱图

    该研究通过对 Mel 谱图的谐波和打击性组成部分进行分析，提出了一个新的架构，包括特征映射生成器算法、基于 CNN 的网络特征提取器和多层感知器（MLP）分类器，研究有效的数据增强技术建立了丰富的混合特征映射，最终在 Berlin EMO-DB 数据库上取得了 92.79% 的测试准确率，结果优于之前使用 CNN-VGG16 的研究。

    Dec, 2023

  • 从视觉和声音模态获取无文本情感的可扩展多模态情感分类

    本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

    Jul, 2018

  • EmoDiarize：使用卷积神经网络从语音信号中进行说话人分离和情绪识别

    在先进的人工智能和人机交互时代，识别口语中的情绪至关重要。本研究探讨了深度学习技术在语音情绪识别中的应用，提供了一个综合的解决方案，解决了说话人分离和情绪识别中的挑战。该研究引入了一个框架，将现有的说话人分离流程与基于卷积神经网络（CNN）构建的情绪识别模型相结合，以实现更高的准确性。所提出的模型经过五个语音情绪数据集的训练，包括 RAVDESS、CREMA-D、SAVEE、TESS 和电影片段。从每个样本中提取的特征包括梅尔频率倒谱系数（MFCC）、过零率（ZCR）、均方根（RMS）以及 pitch、noise、stretch 和 shift 等各种数据增强算法。这种特征提取方法旨在提高预测准确性同时降低计算复杂性。所提出的模型能够以 63% 的不加权准确率准确识别语音信号中的情绪状态，展示了出色的效率。

    Oct, 2023

  • 探索与应用音频情感分析在音乐中

    通过对音乐情感的计算模型进行研究，本文试图预测音乐片段的情感变化以及确保平稳过渡的下一个情感值，以提供在治疗和音乐排队中的应用。

    Feb, 2024