Oct, 2020

并行 Tacotron：非自回归且可控 TTS

PDF
TL;DR本文提出了一种用于神经端到端文本到语音的非自回归神经网络模型 Parallel Tacotron，该模型采用变分自编码器来提高自然性，轻量级卷积来捕获局部上下文，并引入迭代光谱损失以进一步提高自然性，实验结果表明，Parallel Tacotron 与强的自回归基线模型相匹配，并在推理时间上显著提高了效率。
neural text-to-speechvariational autoencoderparallel tacotroniterative spectrogram lossefficiency
发现论文，激发创造
  • 非自回归神经文本转语音

    本文提出 ParaNet，一种非自回归 seq2seq 模型，用于将文本转换为频谱图，并通过各种平行神经音色器进行了测试，其中包括一种基于 VAE 的方法，用于从头开始训练反自回归流（IAF）平行音色器。

    May, 2019

  • 带有对抗学习的条件变分自编码器用于端到端的文本转语音

    本篇论文提出了一种使用正则化流和对抗式训练改进的变分推断的并行端到端的语音合成方法，还引入了基于随机预测的语音节奏模型来解决单一文本多样合成的问题。主题涉及文本转语音、端到端模型、变分推断、随机预测、生成模型。相关实验显示本方法表现优于其他公开数据集上的最佳 TTS 系统，并能达到类似于真实语音自然度的效果。

    Jun, 2021

  • 并行 Tacotron 2: 一种具有可微分时长建模的非自回归神经 TTS 模型

    本文介绍了 Parallel Tacotron 2，这是一种具有完全可区分持续时间模型的非自回归神经文本转语音模型，该模型不需要受监督的持续时间信号，它的持续时间控制能力得到了证明，并且在多种多人评估中，其主观自然性超越了基线。

    Mar, 2021

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 基于非自回归式、深度 VAE 和残差注意力的文本转语音合成算法 VARA-TTS

    本文提出了一个采用多层变分自动编码器和残差注意机制的 VARA-TTS 非自回归文本到语音模型，通过逐层精细化文本到声学对齐，将学习负担分摊到多个注意力层中，相比单个注意力层具有更强的稳健性，并使用一个共同训练的发音速度预测器计算话语级别的发音速度，以确定推理时的声学帧数。实验结果表明，VARA-TTS 在推理速度上具有数量级的提升，并且语音质量略逊于 AR 模型 Tacotron 2，但在语音质量方面优于相似的非自回归模型 BVAE-TTS。

    Feb, 2021

  • 使用 Transformer 神经网络进行语音合成

    本文尝试使用 Transformer network 和 multi-head attention 机制来解决 neural text-to-speech 中的 training efficiency 和 long range dependency 问题，在效率和性能方面实现了 state-of-the-art 表现。

    Sep, 2018

  • Wave-Tacotron: 基于端到端的文本到语音合成的光谱图自由方法

    本研究描述了一种序列到序列的神经网络，可以直接将文本输入转化为语音波形，具备较快的语音生成速度，而且不需要使用中间特征来实现。该模型使用自回归解码器循环与标准化流相结合，对输出波形进行建模，并能够处理长期依赖关系。实验证明，所提出的模型的语音生成质量接近最新的神经网络 TTS 系统，并具有明显的加速优势。

    Nov, 2020

  • 基于说话人自适应的神经声码器的参数化语音合成系统

    本文提出了适应性讲话者神经声码器，用于参数文本到语音（TTS）系统，利用全局属性提取方法及目标讲话者特征优化获得了高质量可自适应的 TTS 语音合成。

    Nov, 2018

  • 从说话人验证到多说话人语音合成的迁移学习

    描述了一个基于神经网络的文本转语音（TTS）合成系统，可以以许多不同讲话者的声音生成语音音频，该系统由三个独立训练的部分组成，包括训练说话者编码器网络进行讲话者验证任务，基于 Tacotron 2 的序列合成网络，以及将梅尔频谱图转换为时间领域波形样本的自回归 WaveNet 基声码器。

    Jun, 2018

  • 非注意力 Tacotron: 包括无监督持续时间建模的强大和可控制的神经 TTS 合成

    本文介绍了一种基于 Tacotron 2 的非注意力 Tacotron 模型，用显式的持续时间预测器替代了注意力机制，从而显著提高了稳健性检测度量，并通过使用预先训练的语音识别模型引入两个指标进行大规模稳健性评估。

    Oct, 2020