Jun, 2022

Burst2Vec: 一个对抗性多任务方法，用于从声音爆发中预测情感、年龄和来源

PDF
TL;DRBurst2Vec 使用预训练的语音表示法和对抗性训练来捕捉原始波形中的声学信息，并实现了从声音短暂的预测情感、年龄和来源的多任务学习方法，相比使用预先提取的特征的基线，我们的模型取得了相对 30% 的性能提高，并在 ICML ExVo 2022 多任务挑战赛中成为所有参赛者中得分最高的。
burst2vecmulti-task learningemotionspeech representationsadversarial training
发现论文，激发创造
  • 自监督学习与可学习的 STRFs 用于年龄、情绪和国家预测

    本研究利用多任务学习方法，以基于声音的多任务估计为目标，利用振谱 - 时间调制和自监督特征相结合的方式实现了 country of origin、age 和情感三个任务的一体化处理，并引入了简单的得分融合机制，以提高模型性能。实验结果表明，通过对振谱时间响应和 HuBERT 模型的得分融合，可以实现最佳的测试成绩。

    Jun, 2022

  • 自监督注意力网络和不确定性损失加权在语音突发多任务情感识别中的应用

    本文展示了通过使用自主培训的大型音频模型作为共享特征提取器并结合分类器链和注意力网络框架以及不确定性损失加权策略提高情感声音爆发分类和情感预测的方法，以在 ACII 情感声音爆发竞赛中显著优于基准结果的结果。

    Sep, 2022

  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024

  • ACII 2022 情感语音爆发研讨会和比赛：理解一种关键研究中被低估的情感表达方式

    本文介绍 ACII 情感语音爆发赛事和四个任务，分别为 A-VB-High, A-VB-Two, A-VB-Culture, A-VB-Type，使用机器学习方法对情感识别进行建模与训练，并在大规模数据集上进行了基准测试。

    Jul, 2022

  • ICML 2022 表达性语音化工作坊和赛事：识别、生成和个性化语音爆发

    本文介绍了 ICML Expressive Vocalization (ExVo) 比赛，涵盖三个竞赛项目，利用大规模数据集进行基于多任务模型、生成模型和少样本学习的声音情绪识别。使用最先进的机器学习策略，提供各种竞赛项目的基本性能评估。

    May, 2022

  • 使用 ResNets 和预训练语用学习模型的多任务声音爆发建模

    本文介绍了我们在 ICML 表达性声学竞赛中使用的建模方法，其中采用了多种卷积神经网络模型，并且发现 Conformer 模型在该任务中存在潜力，并提出在情感表达、年龄预测和来源国家等子任务方面，使用单任务模型效果更好，质疑了该问题是否真正从多任务的设置中受益。

    Jun, 2022

  • 基于 Wav2vec 2.0 和 BERT 的多模态情感识别的多级融合

    该研究探讨了多模态情感识别问题，提出了使用迁移学习的方法，结合各种预训练模型和多级融合方法，以及多粒度特征提取的框架，从而在 IEMOCAP 数据集上取得了比最佳基线法高 1.3％的性能表现。

    Jul, 2022

  • emotion2vec：自监督预训练语音情感表征

    我们提出了 emotion2vec，这是一个通用的语音情感表示模型，通过自我监督在线提取方法在开源未标记的情感数据上进行预训练，结合预训练期间的话语级损失和帧级损失。emotion2vec 在主流的 IEMOCAP 数据集上，仅通过训练线性层的方式在语音情感识别任务中胜过最先进的预训练通用模型和情感专家模型。此外，emotion2vec 在 10 种不同语言的语音情感识别数据集中表现出一致的改进。emotion2vec 在其他情感任务上也展示了出色的结果，如歌曲情感识别、对话中的情感预测和情感分析。比较实验、消融实验和可视化全面展示了提出的 emotion2vec 模型的通用性。据我们所知，emotion2vec 是各种与情感相关任务中的第一个通用表示模型，填补了这一领域的空白。

    Dec, 2023

  • 利用辅助任务在 Wav2vec 2.0 和 BERT 的多模态融合中进行多模态情感识别

    这篇研究通过在两种模态数据上使用预训练模型进行微调，使用 K 层多头注意机制进行下游融合，设计两种辅助任务以提高情感识别的表现，相比其他最先进的模型在 IEMOCAP 数据集上实现了更好的性能。

    Feb, 2023

  • 使用 Wav2vec 2.0 嵌入进行语音情感识别

    本文提出一种基于迁移学习的语音情感识别方法，将从预训练的 wav2vec 2.0 模型中提取的特征使用简单的神经网络模型进行建模，并使用可训练的权重从多层模型中组合输出，在 IEMOCAP 和 RAVDESS 两个情感数据库上的评价表明，在情感识别性能上优于现有文献中的结果。

    Apr, 2021