Oct, 2018

语音转换的序列到序列声学建模

PDF
TL;DR本文提出了一种名为 SCENT 的神经网络，用于声音转换中的声学建模。该方法使用注意力机制在训练阶段隐式地对齐源和目标讲话人的特征序列，实现了适当的长度转换，并在转换阶段使用统一的声学模型同时转换源语音的声学特征和持续时间。实验结果表明，该方法在客观和主观性能方面都比传统方法（如 GMM 和 DNN）表现更好，并且优于先前在 Voice Conversion Challenge 2018 中获得最高排名的方法。
发现论文，激发创造
  • 通过在 Mel 频谱预测上调节 WaveNet，进行自然语音合成

    该论文阐述了 Tacotron 2 的神经网络框架，该框架可以从文本中直接合成语音，其系统由一种递归的序列到序列的特征预测网络和一个修改的 WaveNet 模型组成，能够实现与专业录制的语音相当的平均意见分数 (MOS)。

    Dec, 2017

  • AttS2S-VC：具有注意力机制和上下文保留机制的序列到序列语音转换

    本研究提出一种基于注意力机制和上下文保留机制的序列到序列学习（Seq2Seq）方法，用于语音转换（VC）任务。该方法稳定加速了训练过程，并且不需要预先对源和目标语音数据进行时间对齐。在实验中，与高斯混合模型（GMM）和循环神经网络（RNN）相比，我们提出的 VC 框架仅需一天时间训练，可以达到接近于 RNN 提供的语音合成质量的水平。

    Nov, 2018

  • 使用多源 Tacotron 和 WaveNet 的文本转语音和声音转换联合训练框架

    我们提出了一种使用 Tacotron 的扩展模型体系结构，将其作为文本到语音（TTS）任务和语音转换（VC）任务的共享模型进行训练。通过使用多源序列到序列模型作为共享模型，我们可以分别根据输入类型完成这两个不同的任务。使用预测的 mel-spectrogram 调制 WaveNet 生成波形信号，并建议联合训练一个支持多个源的目标说话人解码器的共享模型。听觉实验表明，我们提出的多源编码器 - 解码器模型可以有效地实现 TTS 和 VC 任务。

    Mar, 2019

  • 无监督唱声转换

    该论文提出了一种基于深度学习的歌唱声音转换方法，该方法不需要以文本或音符为条件，并可直接将一个歌手的音频转换为另一个歌手的声音。通过使用单个 CNN 编码器和一个分类器来进行训练和模型改进，每个歌手都表示为一个嵌入式向量，以便检测其独特的音乐特征。通过使用数据增强技术以及新的训练损失和基于后转换的协议，该方法在较小的数据集上取得了良好的效果。

    Apr, 2019

  • 基于卷积神经网络的歌声合成

    本文提出了一种基于卷积神经网络的歌声合成方法，通过建立对唱歌音符特征序列和声学特征序列之间关系的卷积神经网络模型，生成长时序的声学特征序列以去除参数生成算法，主观听感测试结果表明该方法能够产生自然流畅的歌声。

    Apr, 2019

  • 基于 Transformer 的序列到序列语音转换网络：利用文本到语音预训练

    本文提出了一种基于 Transformer 架构和文本到语音预训练的新颖的序列到序列语音转换模型，通过预训练的方式，向转换模型传递语音相关的知识，实现数据高效训练，提高语音转换的清晰度、自然度和相似度。

    Dec, 2019

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 非平行序列到序列语音转换系统中的语言和说话人分离表征

    本文提出了一种使用非并行训练数据的序列到序列（seq2seq）语音转换方法，该方法使用编码器 - 解码器神经网络框架构建模型，从声学特征中提取解交叉的语言和说话者表示，并通过保留源话语的语言表示，将说话者表示替换为目标音频的表示来实现语音转换。实验结果表明，该方法在语音转换挑战 2018 中得到了比最佳非并行语音转换方法更高的相似度和自然程度。

    Jun, 2019

  • 使用 WaveNet 声码器的多说话者文本转语音合成系统的 Wasserstein GAN 和基于波形损失的训练方法

    提议在语音合成中使用包含条件生成式对抗网络或其变种 Wasserstein GAN with gradient penalty (WGAN-GP) 的框架，并将生成的伪语音作为条件参数用于另一个准确预测参数的声学模型中，实验结果表明，使用具有后向传播离散混合逻辑损失的 WGAN-GP 框架所训练的声学模型，评估得分最高，同时具有最佳的质量和说话人相似度。

    Jul, 2018

  • 用于序列到序列语音转换的预训练技术

    本文介绍一种转换语音的新方法，提出了在应用 Sequence-to-sequence (seq2seq) voice conversion (VC) 模型之前，将其他语音处理任务如文本到语音 (TTS) 和自动语音识别 (ASR) 应用到模型中来传递知识，从而生成高质量，高准确性，高还原度的语音，证明了 transformer 模型在智能，自然和相似性方面优于 RNN 模型。

    Aug, 2020