Aug, 2023

多任务伪标签学习用于非侵入式语音质量评估模型

PDF
TL;DR该研究介绍了多任务伪标签（MPL）学习在非侵入性语音质量评估模型中的应用，通过两个阶段获得伪标签分数和进行多任务学习，实验证明了 MPL 相较于从零开始训练模型和使用知识传递机制的优势，并验证了 Huber 损失函数在提高 MTQ-Net 预测模型的能力方面的益处，最终 MTQ-Net 采用 MPL 方法展示了较其他基于 SSL 的语音评估模型更高的整体预测能力。
multi-task pseudo-label learningspeech quality assessmentpseudo-label scoresmulti-task learningmtq-net
发现论文，激发创造
  • 话语 MOS 多任务学习与评分者偏差校正

    本文提出了一种多任务框架来改进盲目 MOS 评估模型的性能，通过在训练中加入附加标签和数据，结合两个不连续的数据集来联合估算 MOS、混响时间和清晰度，并使用半监督框架来组合两个 MOS 数据集以解决评估者偏差。

    Dec, 2022

  • Quality-Net：一种基于 BLSTM 的端到端非侵入式语音质量评估模型

    本研究提出了一种基于双向长短时记忆的全新端到端的非侵入式语音质量评估模型 Quality-Net，该模型可在没有干净参考语音的情况下对语音质量进行评估，实验结果表明 Quality-Net 可以产生与 PESQ 高相关性（噪声语音为 0.9，经过语音增强处理的语音为 0.84），有潜力在语音信号处理的广泛应用中使用。

    Aug, 2018

  • 动量伪标记在半监督语音识别中的应用

    本研究提出一种名为动量伪标签的半监督语音识别方法，采用了一种在线模型与离线模型之间交互学习的策略，取得了比基准模型更好的效果。

    Jun, 2021

  • 改进基于自主学习的 MOS 预测网络

    该研究通过对先前基于自监督学习的 MOS 预测模型进行数据、训练和后训练的特定改进，并采用多种技术评估其有效性，包括 wav2vec 2.0 模型、转移学习、不同的批处理方法和方法的量化等，实现自动预测 MOS 值。

    Apr, 2022

  • 基于扩散概率模型的语音增强度量化方法

    研究提出了一种基于度量导向的语音增强方法 (MOSE)，通过创新的 actor-critic 框架，将评估度量视为后验奖励，以指导反向过程到度量增加方向，从而提高了性能。

    Feb, 2023

  • 通过双偏差校准学习带有噪声低成本的 MOS 图像质量评估

    从低成本的主观质量标注学习鲁棒的图像质量评估模型，通过建立低成本主观质量标注与高成本主观质量标注之间的主观偏差模型和模型偏差模型来进行校准，以实现准确的图像质量评估。

    Nov, 2023

  • 使用 Conformer 和初始化策略推进 Momentum Pseudo-Labeling

    本研究通过引入 Conformer 结构和迭代伪标签与语言模型相结合，提高了 MPL 性能，对各种半监督设置表现出鲁棒性， 并且在质量和效果方面优于其他基于伪标签的方法。

    Oct, 2021

  • 使用已学习的损失函数进行学习：利用 Quality-Net 进行语音增强以提高语音质量的感知评估

    通过一个可微的近似 PESQ 函数训练语音增强模型，可以提高 PESQ 得分（相对于用 MSE loss 训练的结果增加了 0.18 分），同时保持语音可懂性。

    May, 2019

  • MooseNet: 一种可训练的合成语音指标，使用 PLDA 后端

    使用 MooseNet，该研究提出了一种可训练的语音度量方法，以预测听众的平均意见分数（MOS）。该研究通过易于使用的建模技术，对挑战基线进行了改进，并增加了适用于更大的自监督学习（SSL）模型。提出了两种模型，第一种是神经网络（NN），第二种是基于第一种 NN 模型顶层的 PLDA 生成模型，可以提高 NN 模型的表现。由两种模型组成的集成在所有系统和话语级别的指标上均获得了前 3 或前 4 名的 VoiceMOS 排行榜。

    Jan, 2023

  • InterMPL: 中间层 CTC 损失的动量伪标签

    本文提出了一种利用中间监督的伪标签方法 ——InterMPL，可以应用于半监督学习的自动语音识别系统中，通过引入辅助损失优化伪标签，具有在不需要标签的情况下提高 ASR 性能的能力。实验结果证实，该方法比 MPL 等方法更有效，可使 ASR 模型提高至 12.1% 的绝对性能增益。

    Nov, 2022