应用句法 - 韵律映射假设和韵律完整性约束到神经序列到序列语音合成

Mar, 2022

应用句法 - 韵律映射假设和韵律完整性约束到神经序列到序列语音合成

Applying Syntax$\unicode{x2013}$Prosody Mapping Hypothesis and Prosodic Well-Formedness Constraints to Neural Sequence-to-Sequence Speech Synthesis

PDF

Kei Furukawa, Takeshi Kishiyama, Satoshi Nakamura

TL;DR本文提出了一种基于 SPMH 和韵律良好性限制的语音合成模型，可有效地合成和复制日语语音中反映句法结构的语音特征，如初段降低、韵律增强等。

Abstract

End-to-end text-to-speech synthesis (TTS), which generates speech sounds directly from strings of texts or phonemes, has improved the quality of speech synthesis over the conventional TTS. However, most previous studies have been evaluated based on subjective naturalness and have not o

text-to-speech phonological phenomena syntactic structures spmh linguistic phenomena

发现论文，激发创造

非自回归语音合成的分层韵律建模

分析了不同韵律建模设置下的非自回归 TTS 模型行为，并提出了一种层次结构，其中基于单词级韵律特征来预测音素级韵律特征的方法，该方法在客观和主观评估中在音频质量和语音韵律自然性方面优于其他竞争对手。

Nov, 2020

利用直觉的韵律特征进行可控的神经文本转语音合成

通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

Sep, 2020

无文本长度限制语音合成系统的韵律学习机制

本文提出了一种基于 TTS 系统的韵律学习机制，利用本文语言模型的语义特征改进韵律预测结果，并提出了一种名为局部注意力的自注意力结构，以消除输入文本长度局限性，实验证明，我们的模型在英语和汉语合成中产生了更加令人满意的韵律，尤其在汉语合成中，我们的模型优于基准模型，MOS 差距为 0.08，合成语音的整体自然度得到了显著提高。

Aug, 2020

具有韵律修饰能力的序列到序列神经语音合成

本研究提出了一种自动化的方法，使得系统意识到抑扬顿挫，从而在连续的尺度上实现句子级的语调控制，从而改善合成语音的整体质量和表现力，并提出了一种新型的增强注意机制，以实现更好的步伐控制灵敏度和更快的关注收敛。

Sep, 2019

使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。

Nov, 2022

计算归纳韵律结构

本文主要研究语音节奏（prosody）的语法问题，提出了一种基于从低频信号中推导出的语音节奏结构的归纳方法，即 Rhythm Formant Theory 和 Rhythm Formant Analysis 方法，并以朗读的汉语为例，探究了汉语和英语的差异，并得出结论：语言内部的基准化语音或语音对比对于语音的差异性过于简单，需要从物理信号中的语音节奏来研究语音的差异以找到更加准确的结果。

Dec, 2019

基于语言驱动的动态分层变分网络合成不同语调语音

本研究提出了一种新的层次化有条件变分自编码器，用于生成声调特征，可用于合成语音信号，与现有技术相比具有更高的性能。

May, 2019

语音增强的语言建模用于文本到语音合成

我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

Jun, 2024

基于预训练语言模型和基于停顿的韵律建模的自然语音合成 (PauseSpeech)

本文提出了一个基于已预训练语言模型和基于停顿的语调模型的语音合成系统 PuaseSpeech，其使用编码器和预测器来实现词语分组和停顿的建模，实验结果表明 PuaseSpeech 在自然度方面优于先前的模型。

Jun, 2023

关于合成训练数据中音素持续时间变异性对自动语音识别的相关性

通过生成的合成数据以及时长建模来改进低资源环境或领域不匹配任务中的自动语音识别系统，并使用半监督方法在改进中合成数据的语音识别系统中取得了改进。

Oct, 2023