Dec, 2023

StyleSpeech：基于 VQ-VAE 的自监督风格增强与情感化有声书语音合成预训练

PDF
TL;DR通过 VQ-VAE 的自监督式预训练，我们提出了一种自我监督式风格增强方法，用于表达性有声读物语音合成，实验证明我们的方法能够有效地提高有声读物合成中合成语音的自然度和表现力。
发现论文，激发创造
  • 自监督上下文感知风格表示在表现性语音合成中的应用

    本文提出了一种利用自我监督学习从大量纯文本中学习风格表达的新框架，采用情感词典和对比学习和深度聚类，最终在多风格变换文本到语音系统中得到了更好的结果。

    Jun, 2022

  • 端到端语音合成中学习风格控制与转移的潜在表示

    本文介绍了利用变分自编码器（VAE）来实现语音合成模型的端到端学习，以无监督的方式学习发音风格的潜在表示。通过 VAE 学习到的风格表示具有解缠、缩放和组合等良好的特性，使得风格控制变得容易。通过先通过 VAE 的识别网络推断出风格表示，然后将其馈入 TTS 网络来引导语音合成中的风格，可以在这个框架中实现风格转移。为了避免在训练过程中 KL 散度崩溃，采用了多种技术。最后，所提出的模型在风格控制上表现良好，并在风格转移的 ABX 偏好测试中优于全局风格令牌（GST）模型。

    Dec, 2018

  • 无标签风格迁移：量化 VAE 和基于发言人的归一化在语音合成中的跨说话人风格转换

    本研究提出了一种基于 Q-VAE 和批归一化以及数据增强的跨说话人语音风格转移方法，无需使用手动标注的标签即可实现从源说话人到目标说话人的风格迁移，并证明了该方法优于基准方法。

    Dec, 2022

  • 仅使用清晰语音的自监督语音质量估计和增强

    提出了一种基于自编码器的自监督度量方法（VQScore），用于评估语音质量，并结合领域知识进行模型设计，同时训练自主语音增强模型以改进编码器的鲁棒性。实验结果表明，该方法和增强模型与有监督基线模型具有竞争力。

    Feb, 2024

  • 通过变分自编码器对表情进行建模的表达性语音合成

    本文提出一种将自回归语音合成模型 VoiceLoop 与变分自编码器 VAE 相结合的方法，通过在语音生成过程中显式建模全局特征，控制生成语音的表达方式从而提高语音合成的表现力。

    Apr, 2018

  • 基于言语风格潜在表示的端到端文本转语音技术：基于自然对话的研究

    本研究旨在实现一种接近于人类对话的 TTS，通过基于 VAE/GMVAE-VITS 的训练，利用上下文信息来综合预测所需样式的语音合成， 实验结果表明，该方法在对话级别的自然度方面优于原本的 VITS。

    Jun, 2022

  • SC VALL-E：风格可控的零样本文本到语音合成器

    本研究提出了基于神经编解码语言模型（VALL-E）的风格控制（SC）VALL-E 模型，用以生成具有可控属性的表达性语音，并通过与其他模型的比较实验评估其性能。

    Jul, 2023

  • 基于样本自编码器的无监督音频视觉合成

    该论文提出了一种无监督方法，可以将任何个人的输入语音转换为无限数量的输出扬声器的音频可视化流，并使用先例自编码器学习特定目标样本语音的声音、风格韵律和视觉外观，它可以很容易地扩展到任意数量的扬声器和风格，而无需对输入扬声器进行任何训练数据。

    Jan, 2020

  • 利用 VQ-VAE 从口腔和声学特征进行自监督语音单元发现

    使用关节建模和深度学习研究了如何在自我监督情况下使用关节信息发现语音单元，并在实验中发现联合使用关节和语音学模态可以更准确地表示这些语音学维度。

    Jun, 2022

  • 面向对话文本到语音合成的半监督预训练用于自发风格建模

    我们提出了一种半监督预训练方法，通过考虑文本和语音信息来检测语音中的自发行为标签，并使用语言感知编码器建模对话中每个句子之间的关系。实验结果表明，我们的方法能够实现更好的表达式语音合成性能，具备对自发式语音的自发行为建模以及从文本中预测合理的自发行为的能力。

    Aug, 2023