Jun, 2022

简单有效的多句 TTS 系统，具有表达和连贯的韵律

PDF
TL;DR本文针对长文本合成语音的特殊困难，通过将上下文信息、强大文本特征和多人数据用于 Transformer-based FastSpeech 的简单扩展，改进了合成语音的韵律，其中 BERT 也受益于更多的训练数据。通过客观的停顿和速度指标和全面的主观评估，得出了一种较强的合成语音系统，其中包括所有改进扩展，相对于同类竞品在语音自然度方面表现出显著的提升。
发现论文，激发创造
  • ContextSpeech：适用于段落阅读的表现力强、有效率的文本转语音技术

    该论文提出了一种轻量级而有效的 TTS 系统 ContextSpeech，采用记忆缓存的复现机制和分层结构的文本语义，以及线性化的自注意力机制来增强全局文本和语音语境，并在长篇阅读中显着提高了语音质量和语调表现力。

    Jul, 2023

  • ParaTTS: 基于段落的语音合成中学习跨句子的语言和韵律信息

    本文提出了一种基于跨句嵌入结构的 TTS 模型，包含语言学信息，韵律信息和位置信息，并在女性普通话语音书籍语料库上进行了训练，结果表明该模型能够生成自然、优质的段落朗读文本，且在主观和客观测试中都表现优于基于句子的模型。

    Sep, 2022

  • 利用直觉的韵律特征进行可控的神经文本转语音合成

    通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

    Sep, 2020

  • MultiSpeech: 基于 Transformer 的多说话人文本转语音

    本文提出了一种名为 MultiSpeech 的高质量多说话人变压器语音合成系统，通过几个特殊设计的组件 / 技术改善了文本到语音的对齐，并在多个数据集上展示了其效果。

    Jun, 2020

  • 情境表达式语音合成

    本研究提出了一种新的任务设置，即什么样的语音是由特定环境所决定的，而非仅仅局限于情绪的预定义类别，为此，我们构建了一个综合数据集并开发了一个有效的框架来生成高质量的自然语音。

    Nov, 2022

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019

  • M2-CTTS: 端到端的多尺度、多模态会话文本到语音合成

    提出了一种多尺度，多模态会话文本到语音系统（M2-CTTS），用于综合利用历史会话并增强韵律表达，通过考虑文本和声学因素的粗粒度和细粒度建模，并混合细粒度上下文信息及声学特征，实现了更好的韵律表现和自然度。

    May, 2023

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 利用跨句 BERT Embeddings 改进韵律建模实现端到端语音合成

    提出了一种使用上下文信息和 BERT 嵌入的文本表征来在端到端的方式中进行语调生成，实验表明这种方法可以显著提高合成语音的自然度和表现力，并可以通过更改相邻的句子间接地控制语调。

    Nov, 2020

  • 使用大型语言模型控制说话风格以实现表情丰富的 TTS

    本研究旨在使用生成型语言模型与 TTS 模型，提供合适的发音特征，以更好地表达不同的说话风格和对话语境，从而提升语音合成的表现。

    May, 2023