Dec, 2021

YourTTS: 面向全体人员的零样本多说话人语音合成和零样本语音转换

PDF
TL;DR该研究使用多语言方法进行零样本多说者语音合成，可在低资源语种上实现零样本语音转换，使用 VITS 模型，经过多项创新修改后，在 VCTK 数据集上实现了最先进的结果，并且可以在少于 1 分钟的输入语音上对 YourTTS 进行微调以获得最佳效果。
发现论文，激发创造
  • XTTS：一种大规模多语言零射击文本转语音模型

    提出了 XTTS 系统，是基于 Tortoise 模型的多语言训练方法，通过改进声纹克隆和加快训练和推理速度，实现了在 16 种语言中取得了最先进的结果。

    Jun, 2024

  • 低资源多语言和零样本多说者 TTS

    在这项工作中，我们将零样本语音克隆和多语言低资源语音合成的任务结合在一起。通过使用语言不可知的元学习（LAML）程序和对 TTS 编码器的修改，我们证明了一个系统可以学习在只有 5 分钟的训练数据下说一个新语言，同时保留了推断新学习语言中甚至看不到的说话者声音的能力，并提供了开源的代码和训练模型。

    Oct, 2022

  • 从文本学会说话：无监督文本预训练的零射多语言语音合成

    使用零样本学习和多语言语言模型，该研究提出了一种只使用目标语言文本数据进行多语言语音合成（TTS）的方法，其能够成功地为只有文本资源的低资源语言开发 TTS 系统，大大拓展了 TTS 的覆盖范围并能取得高度理解度。

    Jan, 2023

  • 面向阿拉伯方言的零射 Text-To-Speech

    构建了一个包含多个方言的阿拉伯语音合成模型并通过评估表明其潜力大。

    Jun, 2024

  • USAT: 通用说话者自适应文本转语音方法

    现有的文本转语音（TTS）研究主要致力于提高训练数据集中演讲者合成语音的质量。为迎接有限参考数据的见外 / 未训练演讲者进一步合成真实语音的挑战，我们提出了一个整合了零样本和少样本演讲者适应策略的框架。

    Apr, 2024

  • AdaSpeech 4: 零 - shot 场景下的自适应文本转语音

    本文提出了一个高质量的语音合成系统 AdaSpeech 4，用于零样本适应性文本到语音。该系统通过将说话者特征系统地建模来提高对新说话者的泛化能力，并通过三个步骤改善了建模。除了利用条件层归一化将提取的说话人特征整合到 TTS 模型中之外，本文基于基向量的分布提出了一种新的监督损失，以在生成的 Mel 声谱图中保持相应的说话人特征。在多个数据集中，AdaSpeech 4 实现了比基线更好的语音质量和相似性，而无需进行任何微调。

    Apr, 2022

  • Mega-TTS: 具有本征归纳偏置的大规模零样本文本转语音

    该研究基于语音属性的分解和对应的感性偏见，提出了一种基于方谱的 TTS 系统 Mega-TTS，训练了 20k 小时的语音数据，实现了零样本文本到语音的高质量生成。

    Jun, 2023

  • 无端到端语音合成中无需超参数搜索的损失折衷自动调整

    本文介绍了一种基于 VITS 的模型的无需搜索的优化框架，它可以平衡损失，并将解码器的能力提高到最大，从而实现了无需搜索找到最佳平衡点。通过该框架，在零样本语音合成和语音转换任务中取得了最优表现。

    May, 2023

  • StarGAN-ZSVC：低资源环境下的零样本语音转换

    本文提出了一个基于生成性对抗网络的语音转换模型，该模型可以在零阶设置下使用未见过的讲话者，并且在实时或更快的速度下运行，与其他语音转换技术相比，该模型在小量数据的零阶设置下表现优异。

    May, 2021

  • 逐步推进零尾到尾语音翻译的极限

    该论文介绍了一种名为 ZeroSwot 的零样本语音翻译方法，通过利用新颖的 CTC 压缩和最优传输技术，在没有配对的语音翻译数据的情况下，通过仅使用语音识别数据训练语音编码器，实现了语音到文本的直接翻译，展示了该方法在模态差异上的优越性和超越之前的零样本模型以及有监督模型的实验结果，达到了最先进的效果。

    Feb, 2024