Mar, 2024

SEGAA: 预测语音中的年龄、性别和情感的统一方法

PDF
TL;DR该研究探索使用语音线索预测年龄、性别和情绪，通过对单一、多输出和顺序模型的比较，发现多输出模型更有效地捕捉变量和语音输入之间的复杂关系，同时提高运行时间。
voice analysisemotion detectionage detectiongender detectiondeep learning models
发现论文，激发创造
  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 对话中语音情感识别的分段特征表示的深度学习

    本文针对会话中情绪识别的复杂性，提出了一种利用双向门控循环神经网络捕捉上下文相关性和说话人之间相互作用的对话情感识别方法。实验结果表明该方法比现有的最先进方法更为有效。

    Feb, 2023

  • 基于讲话者注意力的语音情感识别

    本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

    Apr, 2021

  • 利用语音和文本的多模态语音情感识别

    本文提出了一种深度双重循环编码器模型，利用语音和文本数据进行机器情感识别，该模型表现更优，实验结果显示，当将该模型应用于 IEMOCAP 数据集时，在将数据分配到四个情感类别（愤怒，高兴，悲伤和中性）方面，准确率在 68.8％至 71.8％之间。

    Oct, 2018

  • GEmo-CLAP：增强性别属性对比的语音文本预训练用于言语情感识别

    本文提出了 GEmo-CLAP，一种高效的性别属性增强的 CLAP 模型，用于语音情感识别，在 IEMOCAP 语料库上表现优于 Emo-CLAP 基线和其他先进方法。

    Jun, 2023

  • 基于语音的多模态情感识别中的学习对齐

    本文提出使用注意力机制学习语音帧和文本单词之间的对齐方法，以提高音频 - 文本多模态情感识别的准确性，并在 IEMOCAP 数据集上取得了最先进的性能。

    Sep, 2019

  • 运用机器学习算法检测口语中的情感表达

    该研究使用 MATLAB 函数与机器学习模型分析人类语音中的声音特征，如谐波、周期性、频谱形状等，实现人类情感的识别。通过使用多个数据集进行训练，并对比测试，发现该模型优于现有类似作品。

    Apr, 2023

  • 自监督学习与可学习的 STRFs 用于年龄、情绪和国家预测

    本研究利用多任务学习方法，以基于声音的多任务估计为目标，利用振谱 - 时间调制和自监督特征相结合的方式实现了 country of origin、age 和情感三个任务的一体化处理，并引入了简单的得分融合机制，以提高模型性能。实验结果表明，通过对振谱时间响应和 HuBERT 模型的得分融合，可以实现最佳的测试成绩。

    Jun, 2022

  • 基于 Co-Attention 的多层声学信息的语音情感识别

    本文提出了一种使用新设计的共同关注机制和多层声学信息的端到端语音情感识别系统。这个系统将 MFCC、谱图和嵌入了高水平声学信息的 CNN、BiLSTM 和 wav2vec2 等多层声学信息提取出来，并使用共同关注机制融合提取出来的多模态输入。在 IEMOCAP 数据集上进行的实验表明，我们的模型具有与两种不同的跨验证策略相竞争的性能。

    Mar, 2022

  • AHD ConvNet 语音情绪分类

    本文提出了一种新的基于孪生网络的 mel 频谱学习方法，用于从 CREMA-D 数据集中的 wav 形式的语音记录中学习情感，所提出的模型使用对数 mel - 频谱图作为特征，mels 数量为 64，在情感语音识别的问题上，相对于其他方法，本方法所需的训练时间更短。

    Jun, 2022