Sep, 2018

使用 Transformer 神经网络进行语音合成

PDF
TL;DR本文尝试使用 Transformer network 和 multi-head attention 机制来解决 neural text-to-speech 中的 training efficiency 和 long range dependency 问题，在效率和性能方面实现了 state-of-the-art 表现。
neural text-to-speechtransformer networkmulti-head attentiontraining efficiencystate-of-the-art performance
发现论文，激发创造
  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 从预训练深度语言模型到端到端语音合成的迁移学习

    本论文研究了通过引入 BERT 模型辅助训练 TTS 模型 Tacotron-2，以缓解高质量语音库的不足问题，并在模型训练中观察到模型收敛更快、结果中无杂音等优点。

    Jun, 2019

  • MultiSpeech: 基于 Transformer 的多说话人文本转语音

    本文提出了一种名为 MultiSpeech 的高质量多说话人变压器语音合成系统，通过几个特殊设计的组件 / 技术改善了文本到语音的对齐，并在多个数据集上展示了其效果。

    Jun, 2020

  • 从说话人验证到多说话人语音合成的迁移学习

    描述了一个基于神经网络的文本转语音（TTS）合成系统，可以以许多不同讲话者的声音生成语音音频，该系统由三个独立训练的部分组成，包括训练说话者编码器网络进行讲话者验证任务，基于 Tacotron 2 的序列合成网络，以及将梅尔频谱图转换为时间领域波形样本的自回归 WaveNet 基声码器。

    Jun, 2018

  • 非常深的自注意力网络用于端到端语音识别

    本研究采用 Transformer 结构，构建端到端的序列到序列模型，其表现超过了之前的端到端模型和传统混合系统，并且在 Switchboard 基准测试中超出了所有之前的端到端 ASR 方法。

    Apr, 2019

  • Transformer-Transducer: 自注意力端到端语音识别

    本文研究了使用 Transformer 网络来实现端到端语音识别，提出使用 VGGNet 结合因果卷积来降低计算复杂度，同时使用截断的自注意力机制来实现流式处理。在公共数据集 LibriSpeech 上进行实验，该方法相比于基于 LSTM/BLSTM 的神经输入转换器，获得了更好的识别效果，并实现了流式处理。

    Oct, 2019

  • GraphSpeech: 基于语法感知的图注意力神经网络用于语音合成

    GraphSpeech 是在图神经网络框架下提出的神经 TTS 模型，明确编码输入词汇单元在句子中的句法关系，并将此信息合并到 TTS 注意机制中产生用于文本合成的字符表示向量。实验表明，GraphSpeech 在频谱和韵律的呈现方面稳定优于 Transformer TTS 基线。

    Oct, 2020

  • Small-E：用线性注意力实现高效语音合成的小型语言模型

    最近关于文本到语音合成（TTS）的研究表明，使用语言模型驱动的 TTS 展示了卓越的能力，能够实现自然度和零样本声音克隆。本文提出使用新兴递归架构替代变压器，并引入专门的交叉关注机制以减少重复和跳跃问题。结果，我们的架构能够在长音频样本上高效训练，并在相同规模的基准模型上实现最先进的零样本声音克隆。

    Jun, 2024

  • 基于 Transformer 与 RNN 的语音应用比较研究

    本文章研究了一种新兴的序列到序列模型 ——Transformer，并将它与传统 RNN 模型在 15 项 ASR、1 项多语言 ASR、1 项 ST 和 2 项 TTS 基准测试中进行了比较和分析，发现了各种训练技巧以及 Transformer 在各项任务中带来的显著性能优势，最终实验结果表明 Transformer 在 13/15 项 ASR 基准测试中比 RNN 具有惊人的优越性能。

    Sep, 2019

  • 通过在 Mel 频谱预测上调节 WaveNet，进行自然语音合成

    该论文阐述了 Tacotron 2 的神经网络框架，该框架可以从文本中直接合成语音，其系统由一种递归的序列到序列的特征预测网络和一个修改的 WaveNet 模型组成，能够实现与专业录制的语音相当的平均意见分数 (MOS)。

    Dec, 2017