Jul, 2018

深度编码器 - 解码器模型用于无监督学习可控语音合成

PDF
TL;DR本文针对非文字语音变化很少被注释的情况，研究了无监督学习控制统计语音合成的方法，包括将无监督训练试探法解释为某些自编码器模型中的变分推理等方式。研究发现，这些新的概率诠释具有重要含义，并将几种方法应用于情感语音合成的音频建模，发现无监督学习的表达控制方法（无需情感标签）在很多方面可以与之前的最佳监督方案匹配或超越之。
synthetic speechunsupervised learningstatistical speech synthesisvariational autoencodersemotional speech synthesis
发现论文，激发创造
  • 半监督生成建模用于可控语音合成

    本文提出一种新颖的生成模型，它将最先进的神经文本到语音技术和半监督概率潜变量模型相结合。通过对某些潜变量进行部分监督，我们能够强制它们具有一致和可解释的特征，这在纯无监督的文本到语音模型中过去是不可能的。我们证明了我们的模型能够可靠地发现和控制语音的重要属性（例如情感和语速），即使只监督 1％（30 分钟）。在这样低的监督水平下，我们观察不到合成质量与最先进的基线水平相比的下降。

    Oct, 2019

  • 无监督条件下可控文本表示的变分学习

    本文发现，序列变分自编码器（VAE）在文本数据上训练时，由于修改后的编码值往往落在聚合后的后验潜空间中的空洞或空缺区域，导致译码网络无法推广，因此无法正确解码并控制操纵。为此我们建议在学习到的概率单纯形上约束后验均值，并在其内进行操作，以解决潜空缺陷问题，并在文本风格转移上取得了成功。

    May, 2019

  • 端到端语音合成中学习风格控制与转移的潜在表示

    本文介绍了利用变分自编码器（VAE）来实现语音合成模型的端到端学习，以无监督的方式学习发音风格的潜在表示。通过 VAE 学习到的风格表示具有解缠、缩放和组合等良好的特性，使得风格控制变得容易。通过先通过 VAE 的识别网络推断出风格表示，然后将其馈入 TTS 网络来引导语音合成中的风格，可以在这个框架中实现风格转移。为了避免在训练过程中 KL 散度崩溃，采用了多种技术。最后，所提出的模型在风格控制上表现良好，并在风格转移的 ABX 偏好测试中优于全局风格令牌（GST）模型。

    Dec, 2018

  • 通过变分自编码器对表情进行建模的表达性语音合成

    本文提出一种将自回归语音合成模型 VoiceLoop 与变分自编码器 VAE 相结合的方法，通过在语音生成过程中显式建模全局特征，控制生成语音的表达方式从而提高语音合成的表现力。

    Apr, 2018

  • 层次式生成模型用于可控语音合成

    该研究提出了一种神经序列到序列的文本转语音模型，基于变分自动编码器（VAE）框架，通过两级分层潜变量，实现对生成语音中很少被训练数据标记的潜在属性的控制，包括口音、语速、噪声等，其中第一级为类别变量，第二级为多元高斯变量，通过高斯混合模型 (GMM) 实现。经广泛评估，该模型展现出控制这些潜在属性的能力。

    Oct, 2018

  • ControlVAE: 可控变分自编码器

    提出控制变分自编码器框架 ControlVAE，该框架使用基于自动控制理论的控制器自动调节 VAE 目标中的权重，以改进生成模型的表现，并在语言建模，解缠杂表示学习和图像生成等三个应用中进行评估，结果表明 ControlVAE 可以实现更好的解缠杂和重建质量。

    Apr, 2020

  • 控制性文本生成的变分自编码器综述

    介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

    Nov, 2022

  • 为语音生成与转换学习潜在表征

    使用变分自编码器实现了对自然语音生成过程的建模与学习，获得了较大突破。利用学习的潜在空间算术操作，实现了对语音的音素内容或说话人身份的无监督修改，无需平行监控数据。

    Apr, 2017

  • 可解释性神经对话生成的无监督离散句子表示学习

    本研究利用变量自编码器 (VAE) 算法提出 DI-VAE 和 DI-VST 模型，结合无监督离散语句表示学习方法，以增强对话模型的解释性生成能力，并成功验证其在真实对话数据集上的有效性。

    Apr, 2018

  • 基于 Transformer 的条件变分自编码器用于可控的故事生成

    本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。

    Jan, 2021