Sep, 2022

ParaTTS: 基于段落的语音合成中学习跨句子的语言和韵律信息

PDF
TL;DR本文提出了一种基于跨句嵌入结构的 TTS 模型，包含语言学信息，韵律信息和位置信息，并在女性普通话语音书籍语料库上进行了训练，结果表明该模型能够生成自然、优质的段落朗读文本，且在主观和客观测试中都表现优于基于句子的模型。
neural end-to-end ttsparagraph-based ttslinguistic and prosodic informationmulti-head attention mechanismsmandarin chinese speaker
发现论文，激发创造
  • ContextSpeech：适用于段落阅读的表现力强、有效率的文本转语音技术

    该论文提出了一种轻量级而有效的 TTS 系统 ContextSpeech，采用记忆缓存的复现机制和分层结构的文本语义，以及线性化的自注意力机制来增强全局文本和语音语境，并在长篇阅读中显着提高了语音质量和语调表现力。

    Jul, 2023

  • 简单有效的多句 TTS 系统，具有表达和连贯的韵律

    本文针对长文本合成语音的特殊困难，通过将上下文信息、强大文本特征和多人数据用于 Transformer-based FastSpeech 的简单扩展，改进了合成语音的韵律，其中 BERT 也受益于更多的训练数据。通过客观的停顿和速度指标和全面的主观评估，得出了一种较强的合成语音系统，其中包括所有改进扩展，相对于同类竞品在语音自然度方面表现出显著的提升。

    Jun, 2022

  • 利用跨句 BERT Embeddings 改进韵律建模实现端到端语音合成

    提出了一种使用上下文信息和 BERT 嵌入的文本表征来在端到端的方式中进行语调生成，实验表明这种方法可以显著提高合成语音的自然度和表现力，并可以通过更改相邻的句子间接地控制语调。

    Nov, 2020

  • 多层次上下文信息提升普通话韵律结构预测

    利用多级语境信息，通过多任务学习解码器，本研究提出了一种改进语音生成自然性的方法，通过使用跨发话语之间的语言信息来预测韵律边界，从而在两个数据集上实现了更好的预测效果。

    Aug, 2023

  • 利用直觉的韵律特征进行可控的神经文本转语音合成

    通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

    Sep, 2020

  • 增强的说话对话的语音模型中的次语言学特征

    大型语言模型在聊天、推理和问答等任务中表现出卓越的能力，然而标准的语言模型可能会忽略关键的语用信息，如情感、情感和口语风格，而这些信息对于实现自然、类似人类的口语对话非常重要，特别是当这些信息通过声学提示来传达时。因此，我们提出了一种增强语用的生成预训练变压器（ParalinGPT），该模型利用文本和语音模态来更好地建模口语回应的语言内容和语用属性。该模型将文本的对话背景、语音嵌入和语用属性作为输入提示，在序列化的多任务多模态框架中。实验结果表明，所提出的序列化多任务方法在当前和回应的情感分类上优于典型的序列分类技术。此外，利用对话背景和语音嵌入显著改进了回应文本的生成和情感预测。我们提出的框架在当前情感准确度、回应情感准确度和回应文本 BLEU 分数上分别取得了 6.7％、12.0％和 3.5％的相对改进。

    Dec, 2023

  • TranSentence: 无需语言并行数据的语言无关句子级语音编码的语音至语音翻译

    TranSentence 是一种无需语言平行语音数据进行语音翻译的新方法，它采用语言无关的句级语音编码，通过预训练多种语言的语言无关句级语音编码器，可以在推理阶段使用源语言句子的语言无关语音嵌入生成目标语言的语音。此外，TranSentence 还扩展到多语言语音翻译，实验结果表明 TranSentence 优于其他模型。

    Jan, 2024

  • 上下文感知神经机器翻译中的挑战

    这篇论文探讨了上下文感知神经机器翻译的挑战与方法，并提出了一种更逼近真实情境的段落级翻译任务 para2para，同时提供了新的中英小说数据集以促进未来研究。

    May, 2023

  • 利用自监督表示的鹦鹉 TTS：文本转语音合成

    提出一种名为 ParrotTTS 的文本转语音建模的替代方法，该方法基于自监督学习方法。ParrotTTS 采用两步方法，在无标签数据上训练语音到语音模型，然后使用文本到嵌入模型将其扩展到 TTS。该方法在自然度方面取得了有竞争力的平均意见分数，但在转录对和讲话者自适应方面明显优于传统 TTS 模型，并进一步为使用通用训练的自监督学习语音模型训练 TTS 模型铺平了道路。

    Mar, 2023

  • 无文本长度限制语音合成系统的韵律学习机制

    本文提出了一种基于 TTS 系统的韵律学习机制，利用本文语言模型的语义特征改进韵律预测结果，并提出了一种名为局部注意力的自注意力结构，以消除输入文本长度局限性，实验证明，我们的模型在英语和汉语合成中产生了更加令人满意的韵律，尤其在汉语合成中，我们的模型优于基准模型，MOS 差距为 0.08，合成语音的整体自然度得到了显著提高。

    Aug, 2020