Feb, 2022

无监督的词级韵律标记技术用于可控语音合成

PDF
TL;DR提出了一种基于决策树和 GMM 的无监督词级韵律标记方法，利用这种方法训练的 TTS 系统可以实现可控语音合成。实验结果显示，与 typical FastSpeech2 模型相比，使用词级韵律标记的 TTS 模型不仅具有更好的自然度，而且还能够操作词级韵律。
word-level prosody modelingneural text-to-speechunsupervised taggingdecision treecontrollable speech synthesis
发现论文，激发创造
  • 非自回归语音合成的分层韵律建模

    分析了不同韵律建模设置下的非自回归 TTS 模型行为，并提出了一种层次结构，其中基于单词级韵律特征来预测音素级韵律特征的方法，该方法在客观和主观评估中在音频质量和语音韵律自然性方面优于其他竞争对手。

    Nov, 2020

  • 通过学习离散音素级韵律表示实现可控语音合成

    本文介绍一种使用直观的离散标签实现音素级 F0 和时长控制的新方法，其使用无监督的韵律聚类过程将音素级 F0 和时长特征离散化为韵律标签的输入序列，该模型不需要参考语音就能合成语音，并具有高质量的语音输出和有效的韵律控制能力。

    Nov, 2022

  • 利用直觉的韵律特征进行可控的神经文本转语音合成

    通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

    Sep, 2020

  • 半监督生成建模用于可控语音合成

    本文提出一种新颖的生成模型，它将最先进的神经文本到语音技术和半监督概率潜变量模型相结合。通过对某些潜变量进行部分监督，我们能够强制它们具有一致和可解释的特征，这在纯无监督的文本到语音模型中过去是不可能的。我们证明了我们的模型能够可靠地发现和控制语音的重要属性（例如情感和语速），即使只监督 1％（30 分钟）。在这样低的监督水平下，我们观察不到合成质量与最先进的基线水平相比的下降。

    Oct, 2019

  • 基于韵律的语音自动分句和主题划分

    探究在语音数据中使用音韵学信息（从语音的时间和旋律中获得的信息）来实现句子和主题单元的分割，并将其与基于单词的方法相结合，取得了与基于单词的统计语言模型相当甚至更好的性能，而且需要较少的训练数据和手动标签。

    Jun, 2000

  • 无文本长度限制语音合成系统的韵律学习机制

    本文提出了一种基于 TTS 系统的韵律学习机制，利用本文语言模型的语义特征改进韵律预测结果，并提出了一种名为局部注意力的自注意力结构，以消除输入文本长度局限性，实验证明，我们的模型在英语和汉语合成中产生了更加令人满意的韵律，尤其在汉语合成中，我们的模型优于基准模型，MOS 差距为 0.08，合成语音的整体自然度得到了显著提高。

    Aug, 2020

  • 使用预训练的文本 - 语音模型进行自动韵律标注

    本文提出了一种利用神经文本语音模型和预训练音频编码器从文本 - 音频数据自动提取韵律分界标签的方法，并表明这种方法与文本基线相比具有显着优势和可比性。同时，利用该方法训练的 TTS 系统略优于使用手动标注的系统。

    Jun, 2022

  • 无监督文本转语音合成与无监督自动语音识别

    该论文提出了一种基于对齐模块输出伪文本和另一个合成模块使用伪文本进行训练和实际文本进行推断的无监督文本转语音综合系统，可以在每种语言的 10-20 小时语音中实现与监督系统相当的性能，并开展了对文本单元和声码器影响的研究。

    Mar, 2022

  • 具有韵律修饰能力的序列到序列神经语音合成

    本研究提出了一种自动化的方法，使得系统意识到抑扬顿挫，从而在连续的尺度上实现句子级的语调控制，从而改善合成语音的整体质量和表现力，并提出了一种新型的增强注意机制，以实现更好的步伐控制灵敏度和更快的关注收敛。

    Sep, 2019

  • 多说者语音合成的细粒度噪声控制

    本文提出了一种基于对抗训练、表示瓶颈和音框级建模的无监督噪音建模方法和基于全层次变分自编码器的细粒度语调建模方法，以更好地进行语音合成并将主要因素与噪声和背景噪声分离。

    Apr, 2022