Nov, 2020

利用跨句 BERT Embeddings 改进韵律建模实现端到端语音合成

PDF
TL;DR提出了一种使用上下文信息和 BERT 嵌入的文本表征来在端到端的方式中进行语调生成，实验表明这种方法可以显著提高合成语音的自然度和表现力，并可以通过更改相邻的句子间接地控制语调。
prosodytext-to-speechend-to-endbert embeddingscu information
发现论文，激发创造
  • ParaTTS: 基于段落的语音合成中学习跨句子的语言和韵律信息

    本文提出了一种基于跨句嵌入结构的 TTS 模型，包含语言学信息，韵律信息和位置信息，并在女性普通话语音书籍语料库上进行了训练，结果表明该模型能够生成自然、优质的段落朗读文本，且在主观和客观测试中都表现优于基于句子的模型。

    Sep, 2022

  • 跨语句有条件变分自编码器用于非自回归式文本到语音

    本文提出了一种跨话语 CUC-VAE 模型来估计每个音素的潜在韵律特征的后验概率分布，该模型结合语音，说话人信息和文本特征，并允许与上下文相关的生成韵律特征，实验结果表明此模型可以显著提高其自然度和韵律分布。

    May, 2022

  • 跨语句条件化变分自编码器的语音生成

    利用神经网络驱动的语音合成系统解决了表达性语音和无缝编辑的问题，通过 Cross-Utterance Conditioned Variational Autoencoder speech synthesis (CUC-VAE S2) 框架提供了上下文敏感的韵律特征生成和模拟人类语音韵律生成的实现方式，并在文本转语音和语音编辑两个方面提出了实用的算法，实验证明这些模型显著提升了语音合成和编辑的效果。

    Sep, 2023

  • 简单有效的多句 TTS 系统，具有表达和连贯的韵律

    本文针对长文本合成语音的特殊困难，通过将上下文信息、强大文本特征和多人数据用于 Transformer-based FastSpeech 的简单扩展，改进了合成语音的韵律，其中 BERT 也受益于更多的训练数据。通过客观的停顿和速度指标和全面的主观评估，得出了一种较强的合成语音系统，其中包括所有改进扩展，相对于同类竞品在语音自然度方面表现出显著的提升。

    Jun, 2022

  • CUE Vectors: 基于多样化上下文信号的语言模型模块训练

    提出了一种基于 CUE 的框架，通过消除联合训练句外和句内编码器的需求，使得神经语言模型的培训更具模块化并且可扩展，并能在文章的上下文和元数据等多种形式的句外信息中进行训练。

    Mar, 2022

  • 基于跨模态师生学习的预训练语义语音嵌入用于端到端口语理解

    本文提出了一种新的训练方法，将预先训练的语境嵌入用于处理声学特征，并扩展了预先训练的语音识别系统的编码器，以构建端到端的口语理解系统，实验结果表明，该系统在三个基准测试中达到与流水线结构相当的性能，在没有使用任何训练数据的情况下，在两个基准测试中经过微调每类 10 个示例后优于流水线结构。

    Jul, 2020

  • 利用声学上下文调节、话语嵌入和参考编码器实现零样本基于文本的语音编辑

    本文研究了基于文本声音编辑技术（Text-based voice editing，TBVE）的新方法，通过使用预训练说话人验证嵌入和联合训练参考编码器的方法，增强了语音中的说话人身份和韵律连续性。

    Oct, 2022

  • 使用 BERT 探索跨句子上下文进行命名实体识别

    本文系统研究了使用 BERT 模型处理跨句子信息识别命名实体的方法，并提出了 Contextual Majority Voting (CMV) 算法。在 CoNLL'02 和 CoNLL'03 数据集上实验表明，该算法在英语、荷兰语和芬兰语上的命名实体识别效果均优于现有 BERT 算法的成果，德语效果最佳，西班牙语表现与其他 BERT-based 方法相当。

    Jun, 2020

  • 利用跨句语境进行 ASR 解码

    研究通过束搜索集成具有长期上下文的变压器语言模型进行跨话语语音模型的解码，并与 n-best 重排序的结果进行比较。结果表明，束搜索允许更好地利用跨话语语境。

    Jun, 2023

  • 利用声学情景表征通过音频文本跨模态学习用于会话 ASR

    该研究提出了一种音频 - 文本交叉模态表示提取器，通过 attention 机制，将上下文文本表示作为上下文提供给 ASR 解码器，有效地提高了智能语音识别的性能。

    Jul, 2022