Jan, 2024

ELLA-V: 稳定的神经编码语言建模与对齐引导的序列重排

PDF
TL;DR该研究提出了 ELLAA-V，一种基于语言模型的零样本文本转语音框架，可以在音素级别实现合成音频的细粒度控制，并且在准确性和稳定性方面优于现有方法。
language modelzero-shot audio generationautoregressive language modelellaa-vlm-based zero-shot text-to-speech
发现论文，激发创造
  • VALL-E R：鲁棒高效的零射文本语音合成方法：单调对齐

    利用离散神经音频编解码器，我们提出了 VALL-E R，一个强大且高效的零 - shot 语音合成系统，通过引入音素单调对齐策略和编解码器合并方法，提高了音素的可控性，加快了解码速度，并取得了接近真实语音的字词错误率和超过 60% 的推理时间减少。

    Jun, 2024

  • 神经编解码语言模型是零样本文本到语音合成器

    本文介绍了一种基于语言模型的文本到语音合成方法，使用名为 Vall-E 的神经编解码器语言模型，通过在预训练阶段将 60K 小时的英语语音数据进行规模扩大，可以使用仅三秒的不同说话人的注册录音作为语音提示来合成高质量的个性化语音，并能够在保持发言人情感和声学环境的前提下，提高声音自然度和发言人相似度。

    Jan, 2023

  • VALL-E 2: 神经编码语言模型为人类水平的零 - shot 文本到语音合成器

    VALL-E 2 是零样本文本到语音合成领域最新的神经编解码模型，首次实现了人类水平的合成，并引入了两个重要的改进：重复感知采样和编解码编组建模。实验结果表明 VALL-E 2 在语音鲁棒性、自然程度和说话者相似性方面均超过了之前的系统，在 LibriSpeech 和 VCTK 数据集上取得了人类水平的合成效果，具有很大的潜在应用价值。

    Jun, 2024

  • 使用您自己的语音发出外语：跨语言神经编解码语言建模

    本研究提出了一种跨语言神经编解码语言模型，VALL-E X，用于跨语言语音合成，并通过实验证明其在零样本跨语言文本到语音合成和零样本语音到语音翻译任务中能够生成质量高的语音。此外，VALL-E X 可有效缓解外国口音问题，可通过语言 ID 控制。

    Mar, 2023

  • VioLA: 面向语音识别、合成和翻译的统一编解码器语言模型

    本研究提出了 VioLA 模型，它是一个单自回归 Transformer 解码器网络，通过多任务学习框架，将涉及语音和文本的各种跨模态任务统一为条件编解码器语言模型任务。该模型通过离线神经编解码器将所有语音话语转换为离散标记，进而将所有任务转换为基于标记的序列转换问题，进而自然地使用一个条件语言模型处理。研究表明，VioLA 模型可良好地支持单模和跨模任务，并且解码器模型优于强基线性能。

    May, 2023

  • SC VALL-E：风格可控的零样本文本到语音合成器

    本研究提出了基于神经编解码语言模型（VALL-E）的风格控制（SC）VALL-E 模型，用以生成具有可控属性的表达性语音，并通过与其他模型的比较实验评估其性能。

    Jul, 2023

  • RALL-E: 强大的编解码器语言建模与思维链刺激在文本合成中的应用

    RALL-E 是一种用于文本到语音合成的鲁棒语言建模方法，通过链式思维提示和自注意力机制来增强基于大型语言模型的语音合成的稳健性。

    Apr, 2024

  • 语音增强的语言建模用于文本到语音合成

    我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

    Jun, 2024

  • ELLA：使用 LLM 增强语义对齐的扩散模型

    该研究提出了一种有效的大型语言模型适配器（ELLA），将文本到图像扩散模型与强大的大型语言模型相结合，以实现文本对齐，并且无需对 U-Net 或 LLM 进行训练。通过动态提取 LLM 中的时步相关条件，ELLA 在不同阶段适应语义特征，帮助扩散模型解释复杂的长文本提示。该方法在稠密提示跟随中表现出优越性，尤其是涉及多个对象组成和多样属性关系的情况。

    Mar, 2024

  • TacoLM：具有门控注意力的编解码语言模型是高效的零 - shot 文本转语音合成器

    通过引入 TacoLM，一种新型神经编解码语言模型，改进了训练和推理效率，降低模型规模，并通过在每个解码器层引入额外的门控交叉注意力层，提高合成语音的效率和内容准确性。在 Librispeech 资料库的评估中，TacoLM 比 VALL-E 在单词错误率、说话人相似度和平均意见分数方面都取得更好的结果，同时参数减少 90%，提速 5.2 倍。

    Jun, 2024