Apr, 2024

HyperTTS: 基于超网络的文本转语音中的参数高效适应

PDF
TL;DRNeural speech synthesis and domain adaptation in text-to-speech (TTS) achieved state-of-the-art performance using HyperTTS, a parameter-efficient model with Adapter blocks conditioned on speaker representations through a dynamic hypernetwork.
neural speech synthesistext-to-speechdomain adaptationadaptershypertts
发现论文，激发创造
  • 利用参数高效的迁移学习进行多语言文本到语音调整

    在多种语言环境中，为了有效地合成语音，开发一个能够应对不同语言的语音合成模型是具有挑战性的。本文提出了一种在多语言语音合成中，将参数高效的迁移学习方法（如适配器和超网络）与 TTS 架构集成的方法，并在实验中证明这种方法在性能上能够与全面微调方法相媲美甚至更好，参数数量仅为总参数的约 2.5%。

    Jun, 2024

  • 用于少样本文本转语音说话人自适应的剩余适配器

    本研究提出了一种参数高效的少样本说话人自适应方法，通过使用可训练轻量级模块 (residual adapters) 来增加骨干模型 (backbone model) 实现对各种目标说话人的共享，可以在保持语音自然性和说话人相似性的同时仅使用上亿模型参数的 0.1％。

    Oct, 2022

  • 高效自适应文本转语音

    采用元学习方法对自适应文本到语音合成进行研究，通过共享 WaveNet 核和独立学习的扬声器嵌入来学习多讲话者模型，该方法能够成功地将多扬声器神经网络进行快速适应并获得最新演讲者的自然音质和语音相似度的最新结果。

    Sep, 2018

  • 基于说话人自适应的神经声码器的参数化语音合成系统

    本文提出了适应性讲话者神经声码器，用于参数文本到语音（TTS）系统，利用全局属性提取方法及目标讲话者特征优化获得了高质量可自适应的 TTS 语音合成。

    Nov, 2018

  • 使用合成数据的端到端自适应语音识别系统的简单基线

    本文提出了一种简单的基线技术，使用单个扬声器的 TTS 引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用 ASR 模型的最终密集层进行微调，结果表明，单个发声者 TTS 数据与仅微调最终密集层的结合可合理提高单词错误率.

    Jun, 2022

  • 文本朗读口音自适应的参数高效学习

    本文采用参数效率学习（PEL）技术，基于最优传输（OT）理论，引入无监督损失来最大化源域和目标域之间的差异，建立一个资源高效的低资源口音自适应文本到语音（TTS）模型，提高 Mandarin 口音自适应的自然度和性能的实验结果证明了该方法的竞争性。

    May, 2023

  • 用于个性化处理非典型语音的超网络

    通过参数效率高的微调，将一般语音识别模型个性化为适于非典型语音的模型，通过使用元学习的超网络，在生成高度个性化的语音适应时，不再需要特定的同伴模型。

    Jun, 2024

  • 基于文本的 RNN-Transducer 预测网络快速领域自适应

    本文研究了如何使用少量文本数据来有效地将 RNN-transducer 模型适应于新的领域，同时保持较好的泛化能力，避免了复杂的解码和外部语言模型需要。同时，本文表明该方法在目标任务的 ASR 评估中可以提供相对增益 10-45% 的性能提升，并分享了 RNN-transducer 预测网络作为语言模型的性能表现等相关见解。

    Apr, 2021

  • 从说话人验证到多说话人语音合成的迁移学习

    描述了一个基于神经网络的文本转语音（TTS）合成系统，可以以许多不同讲话者的声音生成语音音频，该系统由三个独立训练的部分组成，包括训练说话者编码器网络进行讲话者验证任务，基于 Tacotron 2 的序列合成网络，以及将梅尔频谱图转换为时间领域波形样本的自回归 WaveNet 基声码器。

    Jun, 2018

  • 超级适配器多语言机器翻译

    本文介绍了通过使用超适配器，克服多种语言间负面干扰和参数共享问题。研究表明，相比于传统适配器，超适配器具有更少的参数数量和更好的性能表现，且能够促进跨语言的积极转移。

    May, 2022