Mar, 2024

利用时间频率相关性和位置信息学习通过知识迁移增强情感辨识中基于谱图的准确度方法

PDF
TL;DR本研究提出一种通过使用视觉转换器（ViT）关注频谱图中频率（y 轴）与时间（x 轴）之间的关联以及通过知识传递在 ViT 之间进行位置信息的传递的方法，从而提高语音情感识别（SER）的准确性，并通过验证实验结果表明，该方法在加权准确性和浮点运算次数（FLOPs）方面显著优于现有方法，同时提供了高效性和性能改进的有希望的解决方案。
发现论文，激发创造
  • 在语音情感识别中使用谐振和打击成分的杠杆化 Mel 频谱图

    该研究通过对 Mel 谱图的谐波和打击性组成部分进行分析，提出了一个新的架构，包括特征映射生成器算法、基于 CNN 的网络特征提取器和多层感知器（MLP）分类器，研究有效的数据增强技术建立了丰富的混合特征映射，最终在 Berlin EMO-DB 数据库上取得了 92.79% 的测试准确率，结果优于之前使用 CNN-VGG16 的研究。

    Dec, 2023

  • 基于语音的情感识别特征选择增强和特征空间可视化

    本研究提出使用增强策略来提升语音情感识别的准确性，并使用两个数据集验证其有效性，比基准研究识别率分别提高了 11.5％和 13.8％。

    Aug, 2022

  • 时间建模至关重要：一种新的面向语音情感识别的时间情感建模方法

    本文介绍了一种基于时间的情感建模方法，称为 TIM-Net，它学习来自各种时间尺度的多尺度情境情感表示，并用于提高语音情感识别的性能，实验结果表明 TIM-Net 在六个基准数据集上表现出优异的性能。

    Nov, 2022

  • 言语情感识别的变压器时代黎明：缩小情绪价值差距

    对几种预训练模型，fine-tuned 在情感词汇维度上，作者探究了模型大小、预训练数据、泛化能力、鲁棒性、公平性和效率等方面。结果发现，transformer-based architectures 在 SER 领域表现优越，特别是在情感预测方面。

    Mar, 2022

  • 多麦克风语音情感识别采用分层令牌－语义音频 Transformer 架构

    研究探索多麦克风信号处理以提高情感分类准确性，并通过采用分层令牌语义音频变换器模型在现实环境中的测试，获得优越的性能。

    Jun, 2024

  • 语音情绪识别的帧级情绪状态对齐方法

    我们提出了一种针对 SER 的帧级情感状态对齐方法，通过为 HuBERT 模型设置任务自适应预训练（TAPT）方法并使用聚类生成帧级伪情感标签，然后利用这些伪标签对 HuBERT 进行预训练，使其每个帧输出都具有相应的情感信息。最后，通过在其顶部添加一个注意力层，使 HuBERT 仅关注那些与话语级别标签情感更一致的帧，从而对上述预训练的 HuBERT 进行进一步微调，实验结果表明我们的方法优于现有的最先进方法（SOTA）。

    Dec, 2023

  • 利用自监督预训练的声学和语言特征进行连续语音情感识别

    本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

    Nov, 2020

  • 基于 Co-Attention 的多层声学信息的语音情感识别

    本文提出了一种使用新设计的共同关注机制和多层声学信息的端到端语音情感识别系统。这个系统将 MFCC、谱图和嵌入了高水平声学信息的 CNN、BiLSTM 和 wav2vec2 等多层声学信息提取出来，并使用共同关注机制融合提取出来的多模态输入。在 IEMOCAP 数据集上进行的实验表明，我们的模型具有与两种不同的跨验证策略相竞争的性能。

    Mar, 2022

  • 探究语音情感识别变形金刚在语言知识方面的应用

    本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

    Apr, 2022

  • 应用恒 Q 变换的非线性频率扭曲在语音情感识别中的应用

    本文探讨了基于 constant-Q 转换（CQT）的短时语音情感识别（SER），使用 CQT 的低频分辨率优于标准短时傅里叶变换（STFT）的高频分辨率，经过比较分析，使用深度神经网络（DNN）作为后端分类器对基于 STFT 和 CQT 的短期声学特征进行了参数优化和实验，结果表明使用 CQT 的特征优于 STFT 的光谱特征，并且交叉语料库评估实验表明使用 CQT 的系统对于域外训练数据具有更好的泛化能力。

    Feb, 2021