Nov, 2022

面向下一个十亿用户构建文本转语音系统

PDF
TL;DR本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。
发现论文，激发创造
  • 使用 Tacotron2、WaveGlow 和迁移学习的低资源端到端梵语 TTS

    本文研究使用 fine-tuning 改进了英语预训练的 Tacotron2 模型，以有限的梵语数据在资源匮乏的环境下合成自然语音，并取得了令人鼓舞的结果。

    Dec, 2022

  • 使用合成数据和迁移学习在低资源文本转语音系统中进行快速说话者适应

    使用端到端深度学习方法构建的文本到语音系统，通过高资源语言数据和合成数据进行迁移学习，利用目标语言中的现有单语者文本到语音系统生成领域内合成数据，实现在低资源环境下训练高质量的单语者文本到语音系统，证明了双重预训练和仅解码器微调的重要性，并提出了一种低成本的自定义文本到语音模型训练解决方案。

    Dec, 2023

  • 低资源条件下的混合文字语音合成

    我们提出了适用于电子商务应用的生产级代码混合印地语 - 英语 TTS 系统的方法。我们采用了一种以数据为导向的方法，通过利用各种语言的单语数据集。我们演示了在纯代码混合测试集上，这种单一脚本双语训练的效果很好。我们还通过 Tacotron2 + Waveglow 的设置对单说话人适应和多说话人训练进行了详尽的评估，结果显示前一种方法效果更好。我们还结合了迁移学习和仅解码器微调来提高性能。我们将这些方法与 Google TTS 进行了比较，使用我们提出的迁移学习方法获得了 CMOS 分数为 0.02。我们还进行了低资源语音适应实验，结果表明只需要 3 小时的数据就可以引入新语音。这凸显了我们预先训练模型在资源受限设置中的重要性。我们在大量的领域外纯代码混合句子上进行了主观评估，以展示系统的高质量。

    Dec, 2023

  • 跨语言迁移学习的低资源语言端到端文本转语音

    本文针对低资源语言语音合成任务，提出了从高资源语言中迁移知识的方法，并通过学习源与目标语言之间的语言符号映射，有效地构建了 TTS 系统，初步实验表明，只需要约 15 分钟的成对数据即可获得相对良好的 TTS 系统。

    Apr, 2019

  • 口语到口语机器翻译中应力转移尝试

    通过提供一个带有印度英语重读标记注释的数据集，并且使用能够将重读融入合成语音的文本转语音架构，本文介绍了一个能够检测源语音中的重读并将其转移到目标语言语音中的印度英语到印度语的语音机器翻译系统，旨在提高教育内容的整体质量和吸引力。

    Mar, 2024

  • 利用语音克隆对印度语言进行规模化的 NVIDIA 多说话人多语音 TTS 系统

    本文介绍了 NVIDIA 为 2024 年 MMITS-VC 挑战赛开发的 TTS 模型。在 Track 1 和 Track 2 中，我们利用 RAD-MMM 进行少样本 TTS 并在目标说话者数据上额外训练 5 分钟。在 Track 3 中，我们利用 P-Flow 进行零样本 TTS，同时训练挑战数据集和外部数据集，并使用 HiFi-GAN 声码器进行所有提交。RAD-MMM 在 Track 1 和 Track 2 上表现具有竞争力，而 P-Flow 在 Track 3 上排名第一，得分为 4.4 的平均意见分数 (MOS) 和 3.62 的说话者相似度分数 (SMOS)。

    Jan, 2024

  • 神经语音合成调查

    本文全面调研了神经网络 TTS 在包括文本分析、声学模型、声码器等方面的研究进展，进一步总结了相关资源（数据集、开源实现），并提出了未来的研究方向。

    Jun, 2021

  • 构建非洲之声

    本研究聚焦于低资源非洲语言语音合成，着重于从语料库创作到 TTS 系统的共享和部署，通过参与式方法建立新的数据集和数据挖掘，发现即使在次优环境下录制 25 分钟的语音也能生成可听懂的语音，并为 12 种非洲语言提供了语音数据、代码和训练好的语音以支持研究人员和开发者。

    Jul, 2022

  • EM-TTS：高效训练的低资源蒙古语轻量级文本到语音

    基于深度卷积神经网络的轻量级文本转语音系统，通过 CNN-based 序列合成技术，使用数据增强方法减少训练时间，同时保证合成语音的质量和自然度。

    Mar, 2024

  • 基于数据及知识驱动的多语言训练方法，提升印度语言语音识别系统的性能

    使用数据和知识驱动的方法结合多语言语音数据来进行自动语音识别系统的多语言训练，并在低资源和中资源运用 DNN 的分层映射技术和多任务 DNN 模型，分别在印度语种中取得 9.66％ ~ 27.24％不等的相对准确率提升。

    Jan, 2022