Mar, 2023

使用您自己的语音发出外语：跨语言神经编解码语言建模

PDF
TL;DR本研究提出了一种跨语言神经编解码语言模型，VALL-E X，用于跨语言语音合成，并通过实验证明其在零样本跨语言文本到语音合成和零样本语音到语音翻译任务中能够生成质量高的语音。此外，VALL-E X 可有效缓解外国口音问题，可通过语言 ID 控制。
cross-lingual neural codec language modelspeech synthesiszero-shot text-to-speechspeech-to-speech translationforeign accent
发现论文，激发创造
  • 神经编解码语言模型是零样本文本到语音合成器

    本文介绍了一种基于语言模型的文本到语音合成方法，使用名为 Vall-E 的神经编解码器语言模型，通过在预训练阶段将 60K 小时的英语语音数据进行规模扩大，可以使用仅三秒的不同说话人的注册录音作为语音提示来合成高质量的个性化语音，并能够在保持发言人情感和声学环境的前提下，提高声音自然度和发言人相似度。

    Jan, 2023

  • VALL-E 2: 神经编码语言模型为人类水平的零 - shot 文本到语音合成器

    VALL-E 2 是零样本文本到语音合成领域最新的神经编解码模型，首次实现了人类水平的合成，并引入了两个重要的改进：重复感知采样和编解码编组建模。实验结果表明 VALL-E 2 在语音鲁棒性、自然程度和说话者相似性方面均超过了之前的系统，在 LibriSpeech 和 VCTK 数据集上取得了人类水平的合成效果，具有很大的潜在应用价值。

    Jun, 2024

  • ELLA-V: 稳定的神经编码语言建模与对齐引导的序列重排

    该研究提出了 ELLAA-V，一种基于语言模型的零样本文本转语音框架，可以在音素级别实现合成音频的细粒度控制，并且在准确性和稳定性方面优于现有方法。

    Jan, 2024

  • VioLA: 面向语音识别、合成和翻译的统一编解码器语言模型

    本研究提出了 VioLA 模型，它是一个单自回归 Transformer 解码器网络，通过多任务学习框架，将涉及语音和文本的各种跨模态任务统一为条件编解码器语言模型任务。该模型通过离线神经编解码器将所有语音话语转换为离散标记，进而将所有任务转换为基于标记的序列转换问题，进而自然地使用一个条件语言模型处理。研究表明，VioLA 模型可良好地支持单模和跨模任务，并且解码器模型优于强基线性能。

    May, 2023

  • SC VALL-E：风格可控的零样本文本到语音合成器

    本研究提出了基于神经编解码语言模型（VALL-E）的风格控制（SC）VALL-E 模型，用以生成具有可控属性的表达性语音，并通过与其他模型的比较实验评估其性能。

    Jul, 2023

  • SpeechX：神经编解码器语言模型作为通用语言转换器

    SpeechX 是一种通用的语音生成模型，能够实现零 - shot 语音合成和各种语音转换任务，处理干净和嘈杂信号。SpeechX 结合了神经编解码器的语言建模和多任务学习，通过任务相关的提示实现统一和可扩展的建模，并在语音增强和转换任务中提供一致的方法来利用文本输入。实验结果表明，SpeechX 在零 - shot 语音合成、降噪、目标扬声器提取、语音去除和语音编辑等多种任务中表现出效果，与专门模型相比实现了可比或更好的性能。

    Aug, 2023

  • VALL-E R：鲁棒高效的零射文本语音合成方法：单调对齐

    利用离散神经音频编解码器，我们提出了 VALL-E R，一个强大且高效的零 - shot 语音合成系统，通过引入音素单调对齐策略和编解码器合并方法，提高了音素的可控性，加快了解码速度，并取得了接近真实语音的字词错误率和超过 60% 的推理时间减少。

    Jun, 2024

  • 学习外语流利口语：多语言语音合成和跨语言语音克隆

    该论文基于 Tacotron 合成模型，采用多说话人、多语言合成的方式，在没有任何双语或平行示例的情况下，实现了跨语言的语音转移。通过使用音素输入表征，鼓励模型跨语言共享模型容量，并结合对抗损失项，鼓励模型将语音内容与说话人身份表示分离，可以训练出一个可以用于所有训练语言的说话人的稳定可靠的语音合成模型。

    Jul, 2019

  • 基于流模型语音转换实现跨语言语音合成以提高发音

    该论文介绍了一种端到端的跨语言文字转语音方法，使用基于非注意力 Tacotron 架构的模型，并通过使用条件为说话人身份的归一化流网络，实现 TTS 和语音转换（VC）的可同时进行，该方法可以在低资源情景下获得良好效果。

    Oct, 2022

  • 一个模型，多种语言：元学习应用于多语言文本朗读

    本文介绍一种多语言语音合成方法，该方法使用上下文参数生成的元学习概念，使用更少的训练数据和更多的语言产生自然音质的多语言语音；其模型使用 Tacotron 2 和完全卷积输入文本编码器，在训练中使用 CSS10 数据集和新的基于 5 种语言的通用语音数据集，同时使用对抗分类器和梯度反转层增强语音克隆。实验结果表明，该模型跨语言信息共享效果良好，在 “代码切换” 语音合成中表现更自然、准确。

    Aug, 2020