Apr, 2019

MOSNet：基于深度学习的语音转换客观评估

PDF
TL;DR本文提出了基于深度学习的评估模型 MOSNet，用于预测转换语音的人类评分，实验结果表明其预测得分与人类得分高度相关，因此可以用作减少昂贵的人类评分需求的计算评估器。
voice conversionobjective evaluation metricsdeep learning-based assessment modelsmean opinion score predictorhuman perception
发现论文，激发创造
  • 改进基于自主学习的 MOS 预测网络

    该研究通过对先前基于自监督学习的 MOS 预测模型进行数据、训练和后训练的特定改进，并采用多种技术评估其有效性，包括 wav2vec 2.0 模型、转移学习、不同的批处理方法和方法的量化等，实现自动预测 MOS 值。

    Apr, 2022

  • 2020 年语音转换挑战赛主观评级和欺骗性评估的预测

    该研究分析了五种客观评估方法对于語音转换（VC）的有效性，并发现与具有客观评估相比，排行榜依赖用户测试的次要评估可能效果较差；同时，还揭示了某些 VC 方法存在潜在的高安全风险。

    Sep, 2020

  • 基于两两比较的 MOS 预测

    提出了基于配对比较的 MOS 预测框架，并利用 C-Mixup 算法增强其泛化性能，实验结果表明该框架在语音质量的排名准确性上优于当前基准，说明该框架对于提高语音质量排名的准确性具有改进作用。

    Jun, 2023

  • 基于深度学习的合成语音自然度评估

    本文提出了一种新的客观预测合成语音自然度的模型，采用 CNN-LSTM 网络逐端训练，独立于语言，能用于评估文本转语音或语音转换系统的效果，通过在多个数据集上测试证明模型的可靠性。

    Apr, 2021

  • 使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

    该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。

    Nov, 2022

  • 话语 MOS 多任务学习与评分者偏差校正

    本文提出了一种多任务框架来改进盲目 MOS 评估模型的性能，通过在训练中加入附加标签和数据，结合两个不连续的数据集来联合估算 MOS、混响时间和清晰度，并使用半监督框架来组合两个 MOS 数据集以解决评估者偏差。

    Dec, 2022

  • MooseNet: 一种可训练的合成语音指标，使用 PLDA 后端

    使用 MooseNet，该研究提出了一种可训练的语音度量方法，以预测听众的平均意见分数（MOS）。该研究通过易于使用的建模技术，对挑战基线进行了改进，并增加了适用于更大的自监督学习（SSL）模型。提出了两种模型，第一种是神经网络（NN），第二种是基于第一种 NN 模型顶层的 PLDA 生成模型，可以提高 NN 模型的表现。由两种模型组成的集成在所有系统和话语级别的指标上均获得了前 3 或前 4 名的 VoiceMOS 排行榜。

    Jan, 2023

  • SOMOS：三星开放式 MOS 数据集用于神经文本转语音合成的评估

    该论文介绍了一个大型的神经文本转语音（TTS）数据集 SOMOS，该数据集可以用来训练自动 MOS 预测系统，以评估现代合成器。该数据集由 20k 个来自 200 种 TTS 系统的合成语音组成，提供平衡和充足的领域和长度覆盖率，并在三个英文 Amazon Mechanical Turk 地点上收集 MOS 自然度评估，同时分享了可靠的众包注释实践。研究者提供了 SOTA MOS 预测模型在 SOMOS 数据集上的基线结果，并显示了这些模型在评估 TTS 语音时面临的限制。

    Apr, 2022

  • MOS 预测系统中语音表示的比较

    本研究比较了自监督学习特征和谱特征的性能，并结合了两者以提高自动 MOS 的准确性。使用大规模听力测试语料库，发现 wav2vec 特征具有最佳的泛化能力，且结合特征组合表现最佳。

    Jun, 2022

  • 语音表示的 MOS 预测评估

    该研究评估了预测语音质量的特征提取模型，并提出了一种模型架构，用于比较有监督学习和自监督学习模型的嵌入和说话人验证模型的嵌入以预测指标 MOS；实验结果在 VCC2018 数据集和一个叫做 BRSpeechMOS 的巴西 - 葡萄牙语数据集中均表明，译为 “耳语模型” 在所有情境下都是适当的。

    Jun, 2023