Jan, 2024

增量式 FastPitch：基于分块的高质量文本语音合成

PDF
TL;DR提出了增量 FastPitch，这是一种使用块基 FFT 块、受限的块注意力蒙版进行训练和固定尺寸过去模型状态进行推理的 FastPitch 变体，可以产生与并行 FastPitch 相当的语音质量，并且具有更低的延迟，适用于实时语音应用。
parallel text-to-speech modelsreal-time speech synthesisincremental fastpitchmel chunkslow latency
发现论文，激发创造
  • FastPitch：具有音高预测的并行语音合成

    FastPitch 是一种基于基频轮廓的全并行文本到语音模型，可以预测音高轮廓并生成更具表现力的语音，同时保留着便利的 Transformer 架构，具备很高的速度和语音合成质量。

    Jun, 2020

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 使用保留音色的音高增强提高 FastPitch 的音高可控性

    本文介绍了针对最近开发的 FastPitch 说话人的音调控制模型，其生成的语音质量对平均音高偏离较大的音高值下降的问题，并提出了两种算法来改善 FastPitch 的鲁棒性，一是保留音色的变调算法，二是使用不同音高范围的语料库定义 FastPitch 的训练算法，实验结果表明这些算法可以提高 FastPitch 的音高控制能力。

    Apr, 2022

  • FastSpeech 2: 快速高質量的端到端文本轉語音

    提出了 FastSpeech 2，直接使用语音波形从文本中生成语音，并且通过使用更多的变化信息作为条件输入，解决了非自回归文本到语音模型中的一对多映射问题，从而实现更高的语音质量。

    Jun, 2020

  • 基于 Fastpitch 的转移学习改进儿童文本转语音合成

    本研究通过采用迁移学习和 Fastpitch 文本到语音模型，提出了一种生成高质量合成儿童语音的新方法，并通过使用此方法生成的样本进行客观评估和唤醒词错误率验证，展示了真实和合成儿童声音之间的显著相关性。

    Nov, 2023

  • 并行 Tacotron：非自回归且可控 TTS

    本文提出了一种用于神经端到端文本到语音的非自回归神经网络模型 Parallel Tacotron，该模型采用变分自编码器来提高自然性，轻量级卷积来捕获局部上下文，并引入迭代光谱损失以进一步提高自然性，实验结果表明，Parallel Tacotron 与强的自回归基线模型相匹配，并在推理时间上显著提高了效率。

    Oct, 2020

  • 非自回归神经文本转语音

    本文提出 ParaNet，一种非自回归 seq2seq 模型，用于将文本转换为频谱图，并通过各种平行神经音色器进行了测试，其中包括一种基于 VAE 的方法，用于从头开始训练反自回归流（IAF）平行音色器。

    May, 2019

  • MultiSpeech: 基于 Transformer 的多说话人文本转语音

    本文提出了一种名为 MultiSpeech 的高质量多说话人变压器语音合成系统，通过几个特殊设计的组件 / 技术改善了文本到语音的对齐，并在多个数据集上展示了其效果。

    Jun, 2020

  • Pheme：高效且会话式的语音生成

    在这项研究中，我们介绍了 Pheme 模型系列，它提供了紧凑而高性能的模型，能够并行生成自然对话式语音，并且可以高效地在较小规模的对话数据上进行训练，降低数据需求 10 倍以上，但仍能与自回归 TTS 模型的质量相匹配。我们还展示了通过简单的教师 - 学生蒸馏，在预训练的 Pheme 检查点的基础上，通过仅依靠更大的教师模型生成的合成语音，在单说话者设置上获得声音质量的显著改进。在线提供音频样本和预训练模型。

    Jan, 2024

  • 高保真度语音合成的最小监督方法：全部使用扩散模型

    我们提出了一种基于扩散模型的最小监督高保真语音合成方法，其中所有模块均基于扩散模型构建，非自回归框架增强了可控性，持续时间扩散模型实现了多样化的韵律表达。

    Sep, 2023