该论文提出 Glow-TTS，一种基于流的生成模型，用于并行 TTS，无需外部对齐器，并演示了其快速、多样化和可控的语音合成能力，是一种鲁棒的 TTS 模型。

May, 2020

提出了基于前馈 transformer 的 AlignTTS 来预测 mel 频谱，通过 duration predictor 决定每个字符的持续时间，而动态规划技术则用来考虑所有可能的对齐方式，比 Transformer TTS 更高效且在 MOS（平均意见分数）上优于它。

Mar, 2020

我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

Jun, 2024

本论文介绍了一种 CTC Alignment-based Single-Step Non-Autoregressive Transformer（CASS-NAT）方法，用于自动语音识别，通过利用与 CTC 对齐的语音边界信息提取标记级别音频嵌入来提高推理速度，实现了自监督学习，提出了多个训练策略来改善单词错误率（WER）表现，并探究了基于误差的对齐采样方法以减少训练和测试过程中的对齐不匹配，实验结果表明 CASS-NAT 对于多个 ASR 任务具有接近于 AT 的 WER，同时提供了～24 倍的推理加速，并且未经过语言模型的情况下，实现了新的最高效果。

Apr, 2023

基于大型语言模型（LLM）的文本到语音（TTS）系统在处理大规模语音数据集和为新说话者生成自然语音方面表现出了显著的能力，但是基于 LLM 的 TTS 模型并不稳健，因为生成的输出可能包含重复的词、缺失的词和错位的语音（即幻觉或注意力错误），特别是当文本中包含多次出现相同令牌的情况。我们在一个编码器 - 解码器 Transformer 模型中研究了这些挑战，并发现这种模型中的某些交叉注意力头在针对给定文本预测语音令牌时隐式地学习了文本和语音的对齐。为了使对齐更加稳健，我们提出了利用 CTC 损失和关注先验的技术，以鼓励对文本标记的单调交叉注意力。我们的引导注意力训练技术不引入任何新的可学习参数，并显著改善了基于 LLM 的 TTS 模型的稳健性。

Jun, 2024

本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

May, 2019

我们提出了一种基于扩散模型的最小监督高保真语音合成方法，其中所有模块均基于扩散模型构建，非自回归框架增强了可控性，持续时间扩散模型实现了多样化的韵律表达。

Sep, 2023

通过生成的合成数据以及时长建模来改进低资源环境或领域不匹配任务中的自动语音识别系统，并使用半监督方法在改进中合成数据的语音识别系统中取得了改进。

Oct, 2023

本文提出了一种基于 TTS 的数据增强方法，用于改进非自回归 TTS 系统的质量，实验表明该方法显著提高了非自回归 TTS 系统的质量。

Oct, 2020

SpeechAlign 是一个框架，用于评估语音模型中源 - 目标对齐领域的尚未充分探索的领域，并提供了两个新的度量标准来评估语音模型的对齐质量，通过发布 SpeechAlign 来为模型评估提供一个可访问的评估框架，并用它来评估开源的语音翻译模型。

Sep, 2023