Sep, 2022

自监督注意力网络和不确定性损失加权在语音突发多任务情感识别中的应用

PDF
TL;DR本文展示了通过使用自主培训的大型音频模型作为共享特征提取器并结合分类器链和注意力网络框架以及不确定性损失加权策略提高情感声音爆发分类和情感预测的方法，以在 ACII 情感声音爆发竞赛中显著优于基准结果的结果。
发现论文，激发创造
  • ACII 2022 情感语音爆发研讨会和比赛：理解一种关键研究中被低估的情感表达方式

    本文介绍 ACII 情感语音爆发赛事和四个任务，分别为 A-VB-High, A-VB-Two, A-VB-Culture, A-VB-Type，使用机器学习方法对情感识别进行建模与训练，并在大规模数据集上进行了基准测试。

    Jul, 2022

  • 自监督学习与可学习的 STRFs 用于年龄、情绪和国家预测

    本研究利用多任务学习方法，以基于声音的多任务估计为目标，利用振谱 - 时间调制和自监督特征相结合的方式实现了 country of origin、age 和情感三个任务的一体化处理，并引入了简单的得分融合机制，以提高模型性能。实验结果表明，通过对振谱时间响应和 HuBERT 模型的得分融合，可以实现最佳的测试成绩。

    Jun, 2022

  • Burst2Vec: 一个对抗性多任务方法，用于从声音爆发中预测情感、年龄和来源

    Burst2Vec 使用预训练的语音表示法和对抗性训练来捕捉原始波形中的声学信息，并实现了从声音短暂的预测情感、年龄和来源的多任务学习方法，相比使用预先提取的特征的基线，我们的模型取得了相对 30% 的性能提高，并在 ICML ExVo 2022 多任务挑战赛中成为所有参赛者中得分最高的。

    Jun, 2022

  • ICML 2022 表达性语音化工作坊和赛事：识别、生成和个性化语音爆发

    本文介绍了 ICML Expressive Vocalization (ExVo) 比赛，涵盖三个竞赛项目，利用大规模数据集进行基于多任务模型、生成模型和少样本学习的声音情绪识别。使用最先进的机器学习策略，提供各种竞赛项目的基本性能评估。

    May, 2022

  • 基于注意力增强的端到端多任务学习在语音情感预测中的应用

    本文提出了一种增强的端到端框架，通过学习其他辅助任务和关注机制来获取更加稳健和更好地共享表示，以缓解传统系统中由于有限训练数据而导致的过拟合问题，提高语音情感识别性能。

    Mar, 2019

  • 注意力和自监督语音嵌入对非语义语音任务的影响

    人类情绪理解对于推动对话技术走向主流至关重要。我们视语音情绪理解为一项感知任务，这是一个更加现实的设置。通过在 ACM Multimedia 2023 计算跨语音信息挑战（ComParE）中利用其丰富的多语种演讲者数据集和 ' 情感共享 ' 多标签回归目标，我们展示了不同基础模型的训练方案对于超越语音识别等非语义语音任务（例如情绪理解）的效果产生重要影响，尤其是针对多语种演讲者、目标标签的可变性以及回归数据集中的固有不平衡性，我们的结果表明，基于自注意力的轻量级序列模型 HuBERT-Large 相较于报告的基准线有 4.6% 的改进。

    Aug, 2023

  • 自监督语音模型的探索：情感语料库研究

    本研究通过定量分析情感语料库探索了一种流行的自我监督模型 ——wav2vec 2.0，主要证明了：1）wav2vec 2.0 似乎会丢弃不太有用于词汇识别的语用信息；2）对于情感识别，只使用中间层的表示与对多个层求平均后的表示效果相当，在某些情况下，只使用最后一层的表示效果最差；3）现有的自我监督模型可能不是利用非词汇特征的下游任务的最佳解决方案，为该领域未来的研究提供新的发现和理论基础。

    Oct, 2022

  • 使用 ResNets 和预训练语用学习模型的多任务声音爆发建模

    本文介绍了我们在 ICML 表达性声学竞赛中使用的建模方法，其中采用了多种卷积神经网络模型，并且发现 Conformer 模型在该任务中存在潜力，并提出在情感表达、年龄预测和来源国家等子任务方面，使用单任务模型效果更好，质疑了该问题是否真正从多任务的设置中受益。

    Jun, 2022

  • 使用多跳注意力机制的语音情感识别

    该论文提出了一种利用音频和文本信息的语音情感分类方法，使用双向 LSTM 和多跳注意力机制，在 IEMOCAP 数据集上，相对于现有技术，其在加权准确率上提高了 6.5% 的性能。

    Apr, 2019

  • 基于深度学习的情感识别数据增强技术比较研究

    本文对情感识别中的流行深度学习方法进行了全面评估，发现语音信号中的长距离依赖对情感识别至关重要，而速率变换是获得最稳健性能提升的最佳数据扩增技术之一。

    Nov, 2022