May, 2022

ICML 2022 表达性语音化工作坊和赛事：识别、生成和个性化语音爆发

PDF
TL;DR本文介绍了 ICML Expressive Vocalization (ExVo) 比赛，涵盖三个竞赛项目，利用大规模数据集进行基于多任务模型、生成模型和少样本学习的声音情绪识别。使用最先进的机器学习策略，提供各种竞赛项目的基本性能评估。
expressive vocalization competitionemotional expressionmachine learningmulti-task modelgenerative model
发现论文，激发创造
  • ACII 2022 情感语音爆发研讨会和比赛：理解一种关键研究中被低估的情感表达方式

    本文介绍 ACII 情感语音爆发赛事和四个任务，分别为 A-VB-High, A-VB-Two, A-VB-Culture, A-VB-Type，使用机器学习方法对情感识别进行建模与训练，并在大规模数据集上进行了基准测试。

    Jul, 2022

  • 使用 StyleGAN2 和 MEL 光谱图生成多样化的人声爆发

    使用条件 StyleGAN2 模型对经过处理的音频中的 Mel-spectrograms 进行训练，并将生成的 Mel-spectrograms 逆向回音频领域，从而成功改进了 ICML Expressive Vocalizations 竞赛的基线（qua 为所有情感获得 1.76 的 FAD）。

    Jun, 2022

  • 使用 ResNets 和预训练语用学习模型的多任务声音爆发建模

    本文介绍了我们在 ICML 表达性声学竞赛中使用的建模方法，其中采用了多种卷积神经网络模型，并且发现 Conformer 模型在该任务中存在潜力，并提出在情感表达、年龄预测和来源国家等子任务方面，使用单任务模型效果更好，质疑了该问题是否真正从多任务的设置中受益。

    Jun, 2022

  • 自监督学习与可学习的 STRFs 用于年龄、情绪和国家预测

    本研究利用多任务学习方法，以基于声音的多任务估计为目标，利用振谱 - 时间调制和自监督特征相结合的方式实现了 country of origin、age 和情感三个任务的一体化处理，并引入了简单的得分融合机制，以提高模型性能。实验结果表明，通过对振谱时间响应和 HuBERT 模型的得分融合，可以实现最佳的测试成绩。

    Jun, 2022

  • 自监督注意力网络和不确定性损失加权在语音突发多任务情感识别中的应用

    本文展示了通过使用自主培训的大型音频模型作为共享特征提取器并结合分类器链和注意力网络框架以及不确定性损失加权策略提高情感声音爆发分类和情感预测的方法，以在 ACII 情感声音爆发竞赛中显著优于基准结果的结果。

    Sep, 2022

  • Burst2Vec: 一个对抗性多任务方法，用于从声音爆发中预测情感、年龄和来源

    Burst2Vec 使用预训练的语音表示法和对抗性训练来捕捉原始波形中的声学信息，并实现了从声音短暂的预测情感、年龄和来源的多任务学习方法，相比使用预先提取的特征的基线，我们的模型取得了相对 30% 的性能提高，并在 ICML ExVo 2022 多任务挑战赛中成为所有参赛者中得分最高的。

    Jun, 2022

  • ACM Multimedia 2023 计算语用学挑战赛：情感分享与请求

    ACM Multimedia 2023 Computational Paralinguistics Challenge 中，Emotion Share Sub-Challenge 需要进行语音回归分析，Requests Sub-Challenges 需要检测请求和投诉。研究中介绍了 Sub-Challenges、基线特征提取和基于 ComPaRE 特征、auDeep 工具包和使用预训练 CNN 的深度特征提取的分类器；此外，还使用了 wav2vec2 模型。

    Apr, 2023

  • 运用机器学习算法检测口语中的情感表达

    该研究使用 MATLAB 函数与机器学习模型分析人类语音中的声音特征，如谐波、周期性、频谱形状等，实现人类情感的识别。通过使用多个数据集进行训练，并对比测试，发现该模型优于现有类似作品。

    Apr, 2023

  • 情感智能人工智能研讨会情感预测竞赛解决方案

    我们提出了一种简单而有效的单多模型方法 (ECSP)，通过使用单模态信息来增强多模态模型的性能，并通过精心设计的提示来减少文化差异问题，从而预测一个人通过艺术作品和评论的情感。

    Mar, 2024

  • NeurIPS 2023 机器学习音频研讨会：情感音频基准和新数据

    NeurIPS 2023 Machine Learning for Audio Workshop 演讲者共同讨论并阐明了对音频的机器学习的重要性及挑战，提供了几个开放数据集和以往研究的基准模型。

    Mar, 2024