Apr, 2024

Llama-VITS: 基于语义意识的 TTS 合成增强

PDF
TL;DR最近的自然语言处理（NLP）的进展中，大型语言模型（LLMs）在多个应用方面展现出了出色的高质量文本生成能力。本研究引入了一种创新的方法 Llama-VITS，在文本的语义内容方面通过 LLM 来增强 TTS 综合效果。借助 Llama2 来进行主要语音合成过程，我们的实验表明，Llama-VITS 在 LJSpeech 数据集上与原始 VITS（ORI-VITS）和集成 BERT 的模型（BERT-VITS）的自然性相当，并且在 EmoV_DB_bea_sem 数据集上显著提高情感表达能力，突显其生成情感语音的潜力。
natural language processinglarge-scale language modelstext-to-speech systemsllama-vitssemantic content
发现论文，激发创造
  • 大型语言模型在语音合成中的提升：一项实证研究

    本文综合实证研究了如何增强大型语言模型（LLMs）的语音合成能力，比较了三种 LLMs 和语音合成模型（VALL-E）的集成方法，结果显示利用 LLMs 作为文本编码器的耦合方法取得了最佳性能，比原始语音合成模型在讲话者相似度和词错误率（WER）方面表现更好。

    Dec, 2023

  • VITS2: 用对抗学习和架构设计提高单阶段文本转语音的质量和效率

    通过改进结构和训练机制，提出的 VITS2 单阶段文本转语音模型在自然度、多说话人模型的语音特征相似性以及训练和推断的效率方面取得了显著改进，并且成功减少了对音素转换的强依赖，实现了完全的端到端单阶段方法。

    Jul, 2023

  • 一种基于 VITS2 的多说话人多语言语音克隆系统，用于 limmits2024 挑战

    本文介绍了一个语音合成系统的开发，用于 LIMMITS'24 挑战赛，主要关注第二阶段。该系统的目标是建立一个具有语音克隆功能的多说话人、多语言的印度文本到语音系统，涵盖了七种印度语言和男女两性的发言人。该系统通过使用挑战数据进行训练，并针对目标发言人进行少样本语音克隆进行了微调。评估包括对所有七种语言进行单语和跨语言综合的主观测试，评估自然度和发言人相似性。我们的系统使用了 VITS2 架构，结合多语言 ID 和 BERT 模型来增强上下文语言理解。在第一阶段，不允许使用额外数据的情况下，我们的模型的发言人相似性得分为 4.02。而在允许使用额外数据的第二阶段，得分为 4.17。

    Jun, 2024

  • 基于大型语言模型的对话响应与语音合成的联合建模研究

    本文研究构建一种 “思考如何回应” 和 “思考如何讲话” 的人工智能口语对话系统，相比当前独立的聊天机器人和文本到语音（TTS）模块的级联流水线，更贴近人类语音生成过程。研究使用拥有数十亿参数的大型语言模型（LLMs），展示其在语音理解能力上的潜力，并通过统一的编码格式进一步整合对话回应和各种语言特征。实验结果表明，基于 LLM 的方法是构建统一口语对话系统的一种有前景的方向。

    Sep, 2023

  • 边思考边说话：文本生成期间的实时流式语音合成

    LLM2Speech 架构用于通过 LLM 生成语音，以减少显著的延迟并实现自然对话。

    Sep, 2023

  • 从预训练深度语言模型到端到端语音合成的迁移学习

    本论文研究了通过引入 BERT 模型辅助训练 TTS 模型 Tacotron-2，以缓解高质量语音库的不足问题，并在模型训练中观察到模型收敛更快、结果中无杂音等优点。

    Jun, 2019

  • 虚拟助手的大型语言模型合成查询生成

    通过大型语言模型生成的合成查询可以提高虚拟助手的能力，它们与基于模板的方法相辅相成，能够生成类似虚拟助手用户查询的详细且具体的查询。

    Jun, 2024

  • 利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别

    通过研究不同的预训练模型、情感文本合成和数据增强方法，本文提出了一种提高语音情感识别效果的方法，实验结果表明该方法在 IEMOCAP 数据集上具有较高的效果。

    Sep, 2023

  • 利用自监督表示的鹦鹉 TTS：文本转语音合成

    提出一种名为 ParrotTTS 的文本转语音建模的替代方法，该方法基于自监督学习方法。ParrotTTS 采用两步方法，在无标签数据上训练语音到语音模型，然后使用文本到嵌入模型将其扩展到 TTS。该方法在自然度方面取得了有竞争力的平均意见分数，但在转录对和讲话者自适应方面明显优于传统 TTS 模型，并进一步为使用通用训练的自监督学习语音模型训练 TTS 模型铺平了道路。

    Mar, 2023

  • 提升歌声合成表达力的方向：基于 BERT 派生语义信息

    该研究介绍了一种端到端的高质量歌声合成（SVS）系统，其使用来自 Transformers（BERT）的双向编码器表示衍生的语义嵌入来提高合成歌声的表现力。

    Aug, 2023