本文介绍了面向英 - 印度语、英 - 马拉缇语和印度 - 马拉缇语语言对的部署就绪的语音 - to 语音机器翻译（SSMT）系统，该系统通过级联自动语音识别（ASR）、行话校正（DC）、机器翻译（MT）和文本 - to 语音合成（TTS）模型进行开发。

May, 2023

本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。

Nov, 2022

本文研究使用 fine-tuning 改进了英语预训练的 Tacotron2 模型，以有限的梵语数据在资源匮乏的环境下合成自然语音，并取得了令人鼓舞的结果。

Dec, 2022

本文提出了一个 MNMT 系统，通过各种增强策略改进它的性能，研究了方言、语言脚本等因素在提高低资源语言翻译表现中的作用，并展示了回译和领域适应对提高源语言和目标语言翻译质量的优势。通过这些方法，我们的模型在评价指标（即一组 IL 的 BLEU（双语评估协议）得分）方面比基线模型更高效。

Sep, 2022

该论文介绍了使用端到端系统和噪声机器翻译数据增强策略来改进语音翻译，提高 BLEU 分数，该方法应用于英语 - 印地语语音翻译。

Mar, 2023

我们提出了适用于电子商务应用的生产级代码混合印地语 - 英语 TTS 系统的方法。我们采用了一种以数据为导向的方法，通过利用各种语言的单语数据集。我们演示了在纯代码混合测试集上，这种单一脚本双语训练的效果很好。我们还通过 Tacotron2 + Waveglow 的设置对单说话人适应和多说话人训练进行了详尽的评估，结果显示前一种方法效果更好。我们还结合了迁移学习和仅解码器微调来提高性能。我们将这些方法与 Google TTS 进行了比较，使用我们提出的迁移学习方法获得了 CMOS 分数为 0.02。我们还进行了低资源语音适应实验，结果表明只需要 3 小时的数据就可以引入新语音。这凸显了我们预先训练模型在资源受限设置中的重要性。我们在大量的领域外纯代码混合句子上进行了主观评估，以展示系统的高质量。

Dec, 2023

通过分析不同合成目标语音对直接语音翻译模型的影响，本文提出了一个多任务框架，通过同时优化不同 TTS 系统的多个目标来提高 S2ST 表现，在 Fisher 西班牙语 - 英语数据集上实现了 2.8 BLEU 的一致改善效果。

Apr, 2023

本文针对低资源语言语音合成任务，提出了从高资源语言中迁移知识的方法，并通过学习源与目标语言之间的语言符号映射，有效地构建了 TTS 系统，初步实验表明，只需要约 15 分钟的成对数据即可获得相对良好的 TTS 系统。

Apr, 2019

使用端到端深度学习方法构建的文本到语音系统，通过高资源语言数据和合成数据进行迁移学习，利用目标语言中的现有单语者文本到语音系统生成领域内合成数据，实现在低资源环境下训练高质量的单语者文本到语音系统，证明了双重预训练和仅解码器微调的重要性，并提出了一种低成本的自定义文本到语音模型训练解决方案。

Dec, 2023

本文旨在通过保留核心内容的同时改变文本的语言风格，重点研究了情感转换这一重要的文本风格转换子任务，涵盖印度语言的广泛范围，包括印地语、马加伊语、马拉雅拉姆语、马拉地语、旁遮普语、奥迪亚语、泰卢固语和乌尔都语；本文介绍了每种语言的正负样式平行句的专门数据集，评估并比较了各种基准模型在平行数据、非平行数据、跨语言学习和共享学习方法中的性能，其中包括 Llama2 和 GPT-3.5 成语语言模型（LLMs）；我们的实验突出了平行数据在文本风格转换中的重要性，并展示了掩码风格填充（MSF）方法在非平行技术中的有效性；此外，跨语言和联合多语种学习方法表现出了潜力，为选择适合特定语言和任务要求的最优模型提供了见解；据我们所知，这项工作是首次全面探索以情感转换为代表的文本风格转换任务涉及到多种语言的研究。

May, 2024