Apr, 2022

自监督学习模型融合用于 MOS 预测

PDF
TL;DR通过自学习和半监督学习等多种策略，提出了一个融合框架，其中七个预训练的自监督学习（SSL）模型参与了对合成语音 MOS 预测的精度的改进，特别是在 OOD sub-track 上获得了较大的提升。
mean opinion scoresynthetic speechmodel fusionself-supervised learningsemi-supervised learning
发现论文，激发创造
  • 改进基于自主学习的 MOS 预测网络

    该研究通过对先前基于自监督学习的 MOS 预测模型进行数据、训练和后训练的特定改进，并采用多种技术评估其有效性，包括 wav2vec 2.0 模型、转移学习、不同的批处理方法和方法的量化等，实现自动预测 MOS 值。

    Apr, 2022

  • MOS 预测系统中语音表示的比较

    本研究比较了自监督学习特征和谱特征的性能，并结合了两者以提高自动 MOS 的准确性。使用大规模听力测试语料库，发现 wav2vec 特征具有最佳的泛化能力，且结合特征组合表现最佳。

    Jun, 2022

  • 一种用于开放集半监督学习的多任务课程框架

    本文提出了一种多任务课程学习框架，旨在解决开放集合 SSL 中的未知样本问题，通过同时训练模型的正常分类能力和未知样本的检测能力，成功地消除了未知样本的影响。

    Jul, 2020

  • 垃圾变宝藏：通过跨模态匹配收集 OOD 数据，用于开放式半监督学习

    本文提出了一种新的开放式半监督学习方法，通过预热训练、交叉模态匹配等手段，在不将数据集中的 OOD 样本完全过滤掉的前提下，实现了更好的特征学习并判断 OOD 样本，取得了比现有技术更优的性能。

    Aug, 2021

  • 大规模自监督学习的语音分离

    本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

    Nov, 2022

  • 使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

    该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。

    Nov, 2022

  • 关于使用自监督语音表示在自发语音合成中的研究

    本研究探讨了自监督学习在 spontaneous TTS 和 MOS 预测中的适用性，并在实验中比较了 6 种不同的 SSL 及每种模型中的不同层次，旨在深入了解 SSL 的应用。

    Jul, 2023

  • MOSNet：基于深度学习的语音转换客观评估

    本文提出了基于深度学习的评估模型 MOSNet，用于预测转换语音的人类评分，实验结果表明其预测得分与人类得分高度相关，因此可以用作减少昂贵的人类评分需求的计算评估器。

    Apr, 2019

  • 自监督语音模型在音频表示方面的功效

    本研究提出融合自监督学习语音模型嵌入的集成框架，旨在探究其在音频和非语音任务中的表示能力，实验证明该框架普遍优于当前最先进的自监督学习语音 / 音频模型，特别在面对细粒度音乐任务时也表现出强大的能力。

    Sep, 2022

  • 话语 MOS 多任务学习与评分者偏差校正

    本文提出了一种多任务框架来改进盲目 MOS 评估模型的性能，通过在训练中加入附加标签和数据，结合两个不连续的数据集来联合估算 MOS、混响时间和清晰度，并使用半监督框架来组合两个 MOS 数据集以解决评估者偏差。

    Dec, 2022