本文介绍了 NVIDIA 为 2024 年 MMITS-VC 挑战赛开发的 TTS 模型。在 Track 1 和 Track 2 中，我们利用 RAD-MMM 进行少样本 TTS 并在目标说话者数据上额外训练 5 分钟。在 Track 3 中，我们利用 P-Flow 进行零样本 TTS，同时训练挑战数据集和外部数据集，并使用 HiFi-GAN 声码器进行所有提交。RAD-MMM 在 Track 1 和 Track 2 上表现具有竞争力，而 P-Flow 在 Track 3 上排名第一，得分为 4.4 的平均意见分数 (MOS) 和 3.62 的说话者相似度分数 (SMOS)。

Jan, 2024

通过改进结构和训练机制，提出的 VITS2 单阶段文本转语音模型在自然度、多说话人模型的语音特征相似性以及训练和推断的效率方面取得了显著改进，并且成功减少了对音素转换的强依赖，实现了完全的端到端单阶段方法。

Jul, 2023

在这项工作中，我们将零样本语音克隆和多语言低资源语音合成的任务结合在一起。通过使用语言不可知的元学习（LAML）程序和对 TTS 编码器的修改，我们证明了一个系统可以学习在只有 5 分钟的训练数据下说一个新语言，同时保留了推断新学习语言中甚至看不到的说话者声音的能力，并提供了开源的代码和训练模型。

Oct, 2022

本篇论文提出了一种基于跨模态知识转移的多说话人视频朗读合成系统，利用向量量化及对比预测编码来导出获得离散类音素的声学单元，利用 Lip-to-Index 网络推断声学单元的索引序列，并利用说话人编码器来产生说话人表示，以有效地控制生成语音的说话人身份。经过广泛的评估验证，该方法在生成具有高自然度、易懂度和说话人相似度的高质量语音方面具有最先进的性能。

Feb, 2022

该论文基于 Tacotron 合成模型，采用多说话人、多语言合成的方式，在没有任何双语或平行示例的情况下，实现了跨语言的语音转移。通过使用音素输入表征，鼓励模型跨语言共享模型容量，并结合对抗损失项，鼓励模型将语音内容与说话人身份表示分离，可以训练出一个可以用于所有训练语言的说话人的稳定可靠的语音合成模型。

Jul, 2019

本文介绍了一种针对具有口音的输入语音和术语密集的内容进行科学会议演讲翻译的语音翻译系统，使用了 kNN-MT 方法进行有效适应，该系统远优于其端对端对应物。

Jun, 2023

本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。

Nov, 2022

OpenVoice 是一种全能的语音克隆方法，仅需参考说话者的短音频剪辑即可复制其声音，并在多种语言中生成语音。

Dec, 2023

该研究论文介绍了一个面向 Blizzard Challenge 2023 的法语文本转语音合成系统，通过数据筛选、数据增强和声学模型等方法，实现高质量的语音合成。

Sep, 2023

最近的自然语言处理（NLP）的进展中，大型语言模型（LLMs）在多个应用方面展现出了出色的高质量文本生成能力。本研究引入了一种创新的方法 Llama-VITS，在文本的语义内容方面通过 LLM 来增强 TTS 综合效果。借助 Llama2 来进行主要语音合成过程，我们的实验表明，Llama-VITS 在 LJSpeech 数据集上与原始 VITS（ORI-VITS）和集成 BERT 的模型（BERT-VITS）的自然性相当，并且在 EmoV_DB_bea_sem 数据集上显著提高情感表达能力，突显其生成情感语音的潜力。

Apr, 2024