Audiobox 是一种基于流匹配的统一模型，通过描述和示例的提示来增强可控性，统一了语音和声音生成范式，并通过使用 Bespoke Solvers 提高生成速度。

Dec, 2023

SpeechX 是一种通用的语音生成模型，能够实现零 - shot 语音合成和各种语音转换任务，处理干净和嘈杂信号。SpeechX 结合了神经编解码器的语言建模和多任务学习，通过任务相关的提示实现统一和可扩展的建模，并在语音增强和转换任务中提供一致的方法来利用文本输入。实验结果表明，SpeechX 在零 - shot 语音合成、降噪、目标扬声器提取、语音去除和语音编辑等多种任务中表现出效果，与专门模型相比实现了可比或更好的性能。

Aug, 2023

通过 SpeechVerse 多任务训练和课程学习框架，将预训练的语音和文本基础模型结合，使用连续潜在表示对模型进行指令微调，实现在各种自然语言指令下在多样的语音处理任务上实现最优的零样本性能。经过广泛的基准测试，我们的 SpeechVerse 模型表现出更高的性能，甚至超过了 11 个任务中的 9 个常规任务特定基准模型。

May, 2024

提出了一种轻量级的生成式文本到语音（text-to-speech）模型 PortaSpeech，提高了合成语音的真实性和抗扰动性，并且在主观和客观的评估指标上表现最佳，其模型参数数目仅为 FastSpeech 2 的四分之一。

Sep, 2021

该研究基于语音属性的分解和对应的感性偏见，提出了一种基于方谱的 TTS 系统 Mega-TTS，训练了 20k 小时的语音数据，实现了零样本文本到语音的高质量生成。

Jun, 2023

我们提出了一种仅解码的语言模型 VoxtLM，可以执行四个任务：语音识别、语音合成、文本生成和语音延续。与单任务模型相比，VoxtLM 在语音合成方面显示出显著改进，语音可懂度从 28.9 提高到 5.6，客观质量从 2.68 提高到 3.90。VoxtLM 还改善了语音生成和语音识别的性能。 VoxtLM 使用公开可用的数据进行训练，并将训练配方和模型检查点开源，使工作能够完全可复现。

Sep, 2023

该研究提出了一个跨语言语音合成框架，包括上游声码转换模型和下游文本转语音模型。通过在四个阶段中使用声码转换模型将目标语音转换为目标说话人的声音、联合目标语言的语言特征和持续时间进行单一说话人声学模型的训练以及设计一种与地区无关的波形合成器等方法，我们的评估表明这种方法优于现有的基于多语言训练模型的方法，并在不同的模型结构、语言、说话人和数据量方面展现出其鲁棒性，尤其适用于资源匮乏环境。

Sep, 2023

本文介绍了一种基于语言模型的文本到语音合成方法，使用名为 Vall-E 的神经编解码器语言模型，通过在预训练阶段将 60K 小时的英语语音数据进行规模扩大，可以使用仅三秒的不同说话人的注册录音作为语音提示来合成高质量的个性化语音，并能够在保持发言人情感和声学环境的前提下，提高声音自然度和发言人相似度。

Jan, 2023

本文介绍了 dGSLM，这是第一个无需文字或标签即能生成自然对话语音的 “textless” 模型，使用双塔变压器体系结构与跨注意力机制，经过 2000 小时的对话录音训练，能同时合成两个渠道的人类语音和语音附属特征，并展示其相对于基于文本的级联模型表现出更自然和流畅的交替发言。

Mar, 2022

这篇论文介绍了一种新颖的语音转换（VC）模型，它由文本指令引导，比如 “以慢速和低沉的音调清晰地说话” 或 “以开朗少年的声音说话”。与传统方法依赖于参考话语来确定转换语音的属性不同，我们的模型为语音转换增加了多样性和特定性。提出的 VC 模型是一种神经编解码语言模型，处理离散代码序列，生成转换语音的代码序列。它利用文本指令作为风格提示来修改给定语音的韵律和情感信息。与以往的方法相比，我们的模型以端到端的方式处理语音的各种信息，而不再依赖于使用不同的编码器来处理源语音的韵律和内容等不同方面。实验证明了我们的模型在理解指令并产生合理结果方面的令人印象深刻的能力。

Sep, 2023