EMNLPNov, 2019

基于前缀到前缀框架的增量式文本转语音合成

PDF
TL;DR利用前缀到前缀框架构建的神经增量文本转语音系统，实现了在线语音合成，从而将计算延迟和输入延迟分别降至 O (1) 水平。
text-to-speech synthesisneural incremental ttsprefix-to-prefix frameworklatency reductiononline speech synthesis
发现论文，激发创造
  • 神经语音合成调查

    本文全面调研了神经网络 TTS 在包括文本分析、声学模型、声码器等方面的研究进展，进一步总结了相关资源（数据集、开源实现），并提出了未来的研究方向。

    Jun, 2021

  • 高质量流媒体语音合成低，句子长度无关的延迟

    本文提出了一种针对实时应用具有低延迟的 CPU 端到端文本转语音系统，使用自回归基于注意力机制的序列到序列声学模型和 LPCNet 声码器进行波形生成，实验结果显示，该系统能够在 CPU 上几乎达到 31 倍的实时最小延迟，并且能够生成几乎自然的高质量语音。

    Nov, 2021

  • 基于神经增量 ASR、MT 和 TTS 的同时语音翻译系统

    本文介绍了一种新开发的神经网络语音到语音翻译系统及其评估，该系统包括三个完全增量的神经处理模块，用于自动语音识别、机器翻译和文本到语音合成，并研究了其整体延迟及模块级性能。

    Nov, 2020

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 增量式 FastPitch：基于分块的高质量文本语音合成

    提出了增量 FastPitch，这是一种使用块基 FFT 块、受限的块注意力蒙版进行训练和固定尺寸过去模型状态进行推理的 FastPitch 变体，可以产生与并行 FastPitch 相当的语音质量，并且具有更低的延迟，适用于实时语音应用。

    Jan, 2024

  • 利用直觉的韵律特征进行可控的神经文本转语音合成

    通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

    Sep, 2020

  • 端到端对抗文本转语音

    该研究提出了一种基于端到端的方式来从文本或音素中生成语音的方法，使用逐字符或逐音素音频输出序列，通过可微分的对齐策略来保证高保真度音频的生成，实现了在不需要多阶段训练和额外监督下，比之前的技术达到了相似的高质量合成音效。

    Jun, 2020

  • STACL: 前缀到前缀框架的隐含预测与可控延迟的同时翻译

    该研究提出了一种基于前缀的预测模型，采用 wait-k 策略来实现当前缀的翻译，并在中英文和德英文四个方向上实现了较低的延迟和合理的质量。

    Oct, 2018

  • 面向下一个十亿用户构建文本转语音系统

    本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。

    Nov, 2022

  • 使用 Transformer 神经网络进行语音合成

    本文尝试使用 Transformer network 和 multi-head attention 机制来解决 neural text-to-speech 中的 training efficiency 和 long range dependency 问题，在效率和性能方面实现了 state-of-the-art 表现。

    Sep, 2018