探索说话人注册在情感语音预测的少样本个性化中的应用

ICMLJun, 2022

探索说话人注册在情感语音预测的少样本个性化中的应用

Exploring speaker enrolment for few-shot personalisation in emotional vocalisation prediction

Andreas Triantafyllopoulos, Meishu Song, Zijiang Yang, Xin Jing, Björn W. Schuller

TL;DR探究新型少样本个性化架构以预测情感语音，其核心贡献为激活 ' 入学 ' 编码器，通过点积注意机制使得情感编码器能够有效地进行 ' 软' 特征选择。

Abstract

In this work, we explore a novel few-shot personalisation architecture for emotional vocalisation prediction. The core contribution is an `enrolment' encoder which utilises two unlabelled samples of the target sp

few-shot personalisation emotional vocalisation prediction enrolment encoder dot-product attention audio architectures

发现论文，激发创造

为少样本情感语音识别进行预微调

此研究旨在通过使用预先训练的模型来提高语音模型的泛化能力，将说话者自适应视为少样本学习问题，并将 Wav2Vec2.0 在每个多类情感语音识别语料库的四个排列上进行预先微调，并通过 33,600 个 few-shot 微调试验在情感语音数据集上评估模型。

Feb, 2023

基于注册的个性化方法，提高语音情感识别中的个体公平性

通过个体差异进行个性化调整，提出了一种适应每个新说话人的 SER 模型的新方法，并提出了用于衡量不同说话人公平性的新颖评估方案。研究结果表明，聚合评估指标可能掩盖个人层面的公平问题，而我们的评估能揭示出这些问题，并且我们提出的方法可以在聚合和分解层面上提高性能。

Jun, 2024

多语言不可见说话人情感识别的探索：在多任务学习中利用共注意线索

本研究关注于多语言语音情感识别中未见过的说话者，引入了 CAMuLeNet 这一新颖的架构，通过共同注意力融合和多任务学习解决了这一问题，并在多个基准数据集上对预训练的 Whisper、HuBERT、Wav2Vec2.0 和 WavLM 进行基于说话者排除的交叉验证，同时发布了一个针对印地语的新颖数据集 BhavVani。根据交叉验证策略，CAMuLeNet 在未见过的说话者上显示出平均约 8% 的改进。

Jun, 2024

情感识别系统的无监督个性化：语音情感属性外显的独特特性

本研究提出了一种无监督方法来解决情感识别中需要将模型调整到特定个体言语样本上以改进情感预测的问题，并表明这种方法可以相对有效地个性化预测模型。

Jan, 2022

基于讲话者注意力的语音情感识别

本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

Apr, 2021

EmoDiarize：使用卷积神经网络从语音信号中进行说话人分离和情绪识别

在先进的人工智能和人机交互时代，识别口语中的情绪至关重要。本研究探讨了深度学习技术在语音情绪识别中的应用，提供了一个综合的解决方案，解决了说话人分离和情绪识别中的挑战。该研究引入了一个框架，将现有的说话人分离流程与基于卷积神经网络（CNN）构建的情绪识别模型相结合，以实现更高的准确性。所提出的模型经过五个语音情绪数据集的训练，包括 RAVDESS、CREMA-D、SAVEE、TESS 和电影片段。从每个样本中提取的特征包括梅尔频率倒谱系数（MFCC）、过零率（ZCR）、均方根（RMS）以及 pitch、noise、stretch 和 shift 等各种数据增强算法。这种特征提取方法旨在提高预测准确性同时降低计算复杂性。所提出的模型能够以 63% 的不加权准确率准确识别语音信号中的情绪状态，展示了出色的效率。

Oct, 2023

Attentron: 利用基于注意力的可变长度嵌入的少样本文本转语音

提出了一种名为 Attentron 的 few-shot TTS 模型，通过引入两个编码器解决了克隆隐藏说话人的问题并显著提高了生成音频的质量和说话人相似度。

May, 2020

通过对抗训练进行说话者不变的情感表示学习

本文提出了一种基于对抗训练网络来消除发言人特征并更好地表示情感的机器学习框架，在 IEMOCAP 和 CMU-MOSEI 数据集上实验表明该框架能够提高语音情感分类的准确性并增加对未知发言人的泛化能力。

Nov, 2019

自监督式语音情感识别的说话人归一化

我们提出了一种基于梯度对抗学习框架的方法，该方法可以从特征表示中规范化发言者特征，从而学习语音情感识别任务，在演讲者无关和有关的设置下，我们在具有挑战性的 IEMOCAP 数据集上获得了新的最优结果。

Feb, 2022

对话中语音情感识别的分段特征表示的深度学习

本文针对会话中情绪识别的复杂性，提出了一种利用双向门控循环神经网络捕捉上下文相关性和说话人之间相互作用的对话情感识别方法。实验结果表明该方法比现有的最先进方法更为有效。

Feb, 2023