Dec, 2023

在语音情感识别中使用谐振和打击成分的杠杆化 Mel 频谱图

PDF
TL;DR该研究通过对 Mel 谱图的谐波和打击性组成部分进行分析，提出了一个新的架构，包括特征映射生成器算法、基于 CNN 的网络特征提取器和多层感知器（MLP）分类器，研究有效的数据增强技术建立了丰富的混合特征映射，最终在 Berlin EMO-DB 数据库上取得了 92.79% 的测试准确率，结果优于之前使用 CNN-VGG16 的研究。
speech emotion recognitionmel spectrogramsacoustic featuresdata augmentation techniquescnn-vgg16
发现论文，激发创造
  • 使用双序列 LSTM 架构的语音情感识别

    提出了一种新的双层模型，通过使用来自原始音频信号的 MFCC 特征和 mel-spectrograms 预测情感，其中一个标准 LSTM 处理 MFCC 特征，而一个新的双序列 LSTM 架构同时处理两个 mel-spectrograms，最终将输出平均，实现了在情感识别中的 6% 的提高。

    Oct, 2019

  • FSER: 用于语音情感识别的深度卷积神经网络

    本文介绍了使用 mel 频谱图和卷积神经网络来对八种情绪分类的 FSER 模型，经过训练在四个语音数据库中达到了 95.05％的高分类准确率。FSER 在各个基准数据集上表现最好，达到了最新的技术水平。此外，我们还描述了如何使用 FSER 来改善心理和情感保健，并发现这项工作可以作为未来研究的参考和指导。

    Sep, 2021

  • 利用时间频率相关性和位置信息学习通过知识迁移增强情感辨识中基于谱图的准确度方法

    本研究提出一种通过使用视觉转换器（ViT）关注频谱图中频率（y 轴）与时间（x 轴）之间的关联以及通过知识传递在 ViT 之间进行位置信息的传递的方法，从而提高语音情感识别（SER）的准确性，并通过验证实验结果表明，该方法在加权准确性和浮点运算次数（FLOPs）方面显著优于现有方法，同时提供了高效性和性能改进的有希望的解决方案。

    Mar, 2024

  • 无监督表示在语音情感识别中改善有监督学习

    该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

    Sep, 2023

  • 使用深度学习框架评估语音情感识别的原始波形

    通过直接利用六个不同数据集的原始音频文件进行训练，本研究提出了一种模型用于识别情感，没有进行特征提取阶段。该模型通过支持向量机、决策树、朴素贝叶斯、随机森林等机器学习算法，以及集成学习和深度学习技术进行评估，并与现有的方法进行比较。实验证明，使用原始音频文件的 CNN 模型在 TESS+RAVDESS 数据集上取得了 95.86% 的准确率，从而成为了新的最先进方法。在说话人无关的音频分类问题中，该模型在 EMO-DB，RAVDESS，TESS 和 SAVEE 数据集上分别取得了 90.34%，90.42%，99.48% 和 85.76% 的准确率。

    Jul, 2023

  • 利用自监督预训练的声学和语言特征进行连续语音情感识别

    本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

    Nov, 2020

  • 利用中心损失和重建作为正则化器学习区分特征的语音情感识别

    该论文提出了一种卷积神经网络，基于多任务学习和基于语音特征的监督学习策略，旨在识别说话中的情感，结果最适合于语音情感识别的高度识别特征。

    Jun, 2019

  • AHD ConvNet 语音情绪分类

    本文提出了一种新的基于孪生网络的 mel 频谱学习方法，用于从 CREMA-D 数据集中的 wav 形式的语音记录中学习情感，所提出的模型使用对数 mel - 频谱图作为特征，mels 数量为 64，在情感语音识别的问题上，相对于其他方法，本方法所需的训练时间更短。

    Jun, 2022

  • 运用机器学习算法检测口语中的情感表达

    该研究使用 MATLAB 函数与机器学习模型分析人类语音中的声音特征，如谐波、周期性、频谱形状等，实现人类情感的识别。通过使用多个数据集进行训练，并对比测试，发现该模型优于现有类似作品。

    Apr, 2023

  • 基于语音的情感识别特征选择增强和特征空间可视化

    本研究提出使用增强策略来提升语音情感识别的准确性，并使用两个数据集验证其有效性，比基准研究识别率分别提高了 11.5％和 13.8％。

    Aug, 2022