Aug, 2023

多层次上下文信息提升普通话韵律结构预测

PDF
TL;DR利用多级语境信息，通过多任务学习解码器，本研究提出了一种改进语音生成自然性的方法，通过使用跨发话语之间的语言信息来预测韵律边界，从而在两个数据集上实现了更好的预测效果。
text-to-speech synthesisprosodic structure predictioninter-utterance linguistic informationmulti-level contextual informationmulti-task learning
发现论文，激发创造
  • 一个基于字级别跨度的汉语韵律结构预测模型

    本文提出了一种基于 BERT 和自注意力结构实现的基于跨度的汉语韵律结构预测模型，通过对所提供的语言学特征进行编码得到最优韵律结构树，再利用自下而上的 CKY 算法找到得分最高的韵律树，从而完成汉字转韵律标签的端到端预测，实验结果显示：该方法比所有基于序列到序列的基线方法都要优异。

    Mar, 2022

  • ParaTTS: 基于段落的语音合成中学习跨句子的语言和韵律信息

    本文提出了一种基于跨句嵌入结构的 TTS 模型，包含语言学信息，韵律信息和位置信息，并在女性普通话语音书籍语料库上进行了训练，结果表明该模型能够生成自然、优质的段落朗读文本，且在主观和客观测试中都表现优于基于句子的模型。

    Sep, 2022

  • CPSP: 从音素监督中学习语音概念

    我们提出了一种名为对比音素 - 语音预训练（CPSP）的方法，通过对比学习将音素和语音连接到联合多模态空间，并在帧级别学习如何连接音素和语音，从而实现了最小监督的文本到语音（TTS）、语音转换（VC）和自动语音识别（ASR）任务。

    Sep, 2023

  • 面向基于层级上下文信息的汉语语音合成的表现性语音风格建模

    本文提出了一种层级框架，用于从上下文中建模表达语音合成的风格。通过 Hierarchical Context Encoder 来探索更广泛的上下文信息，结合 Inter-Phrase 和 Inter-Sentence 关系，提出了一种新的训练策略 —— Knowledge Distillation，该方法在普通话演讲数据集上进行了客观和主观评估，显著提高了合成语音的自然度和表现力。

    Mar, 2022

  • 一个面向细粒度情感分析的多层次韵律模型

    该研究通过从上下文级别的文本中预测适合的韵律特征，提出了一种多尺度文本韵律模型（D-MPM），该模型利用多尺度文本预测这些韵律特征，从而指导语音合成模型合成更具表现力的语音。

    Sep, 2023

  • MMSpeech: 面向语音识别的多模态多任务编码器解码器预训练

    该论文提出了一种新的多模态多任务编码 - 解码器预训练框架 (MMSpeech), 用于汉语自动语音识别 (ASR), 该框架同时使用了未标注语音和文本数据，其中引入了音素模态来帮助捕捉汉语音频和文本之间的模态不变信息。通过在 AISHELL-1 数据集上的实验，该方法实现了最先进的性能，较其他预训练方法相对提高了超过 40%。

    Nov, 2022

  • 简单有效的多句 TTS 系统，具有表达和连贯的韵律

    本文针对长文本合成语音的特殊困难，通过将上下文信息、强大文本特征和多人数据用于 Transformer-based FastSpeech 的简单扩展，改进了合成语音的韵律，其中 BERT 也受益于更多的训练数据。通过客观的停顿和速度指标和全面的主观评估，得出了一种较强的合成语音系统，其中包括所有改进扩展，相对于同类竞品在语音自然度方面表现出显著的提升。

    Jun, 2022

  • 通过预测基于标记的声学潜变量学习话语级表示以用于情感语音合成

    本论文提出了一种表达性语音合成模型，该模型利用标记级别的潜在韵律变量来捕捉和控制话语级别属性，如角色配音和说话风格，其中的潜在细节级别空间同时也捕捉更粗粒度的信息。

    Nov, 2022

  • 外部知识增强的多音字消歧方法利用大规模语言模型

    提出一种解决汉语多音字消歧问题的新方法，该方法基于大型语言模型和提示学习，包括三个模块：检索模块、生成模块和后处理模块。实验结果表明该方法在公共数据集 CPP 上优于现有方法，并对提示模板、训练数据规模和是否引入外部知识进行了实证研究。

    Dec, 2023

  • 面向跨语言口语理解的标签感知多层对比学习

    本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

    May, 2022