Mar, 2018

基于 Tacotron 的端到端韵律转移实现情感化语音合成

PDF
TL;DR本文提出了一个通过学习潜在的韵律嵌入空间，从包含所需韵律的参考声学信号中扩展 Tacotron 语音合成架构的方法，利用学习到的韵律嵌入空间来进行条件控制，达到了即使参考信号和合成说话人不同也能匹配参考语音韵律细节的合成语音效果，并定义了多种定量和主观指标来评估韵律转移，展示了在不同模型上韵律转移任务的结果和相应的音频样本。
发现论文，激发创造
  • 面向单说者神经文本转语音的细粒度鲁棒性韵律转移

    本文提出一种神经文本转语音系统，通过使用变分自动编码器并在音标级别上聚合韵律特征，实现了从一个说话者到另一个说话者的精细韵律转移，并且解决了参考信号文本缺失的问题。主要关键字为 “神经文本转语音系统”、“韵律转移”、“变分自动编码器”、“音素级时间戳” 和 “序列到序列”。

    Jul, 2019

  • 语调转移模型是否能转移语调？

    该研究探讨了使用不同于目标语音的发音作为参考语音进行训练对 Text-to-Speech 中的韵律转移的影响。结果表明，这种方法的性能明显低于使用目标语音作为参考的方法。作者假设韵律转移模型并非学习可转让的韵律表示，而是高度依赖于参考说话者和参考文本的表达。

    Mar, 2023

  • Tacotron: 面向端到端的语音合成

    该研究提出了 Tacotron，一种端到端的生成式文本转语音模型，通过多个关键技术在序列到序列的框架下进行良好性能表现，同时模型以帧为单位直接生成语音，表现自然度和速度方面优于传统的参数化系统。

    Mar, 2017

  • 基于语音帧和语音风格重构损失的富表现力 TTS 训练

    该研究提出了一种基于 Tacotron 的文本到语音系统的新训练策略，通过使用感知损失函数实现了在样式重建损失下的语音风格的习得，最终在自然度和表现力上都实现了非凡的性能，该模型是首次将感知质量作为损失函数并纳入 Tacotron 训练，从而实现更好的表现力。

    Aug, 2020

  • 可控的情感转移用于端到端语音合成

    提出了一种基于 Tacotron 的新方法，通过引入情感分类器和样式损失，增强情感嵌入的区分能力，并通过控制情感嵌入的值，控制合成语音中的情感强度。实验结果表明，该方法合成的语音具有更高的准确性和表现力，并且情感强度的控制更加显著。

    Nov, 2020

  • 端到端语音合成的鲁棒性和精细语调控制

    该研究提出了一种利用时间结构的音调嵌入方法，实现对合成语音言语风格的精细控制，可在帧级别和音素级别改变合成语音的音高和振幅，并且通过嵌入的时间归一化得到更好的抵抗讲话风格扰动的鲁棒性。

    Nov, 2018

  • 利用直觉的韵律特征进行可控的神经文本转语音合成

    通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

    Sep, 2020

  • DiffProsody: 基于扩散的潜在韵律生成，用于具有韵律条件对抗训练的表情化语音合成

    通过使用基于扩散的潜在韵律生成器和韵律条件对抗训练的新方法 DiffProsody，本研究证实了其在生成韵律向量方面的有效性，并且韵律条件鉴别器通过准确模拟韵律极大提高了生成语音的质量。使用去噪扩散生成对抗网络提高了韵律生成的速度，因此 DiffProsody 能够比传统的扩散模型生成韵律的速度快 16 倍。通过实验证明了我们提出的方法具有卓越的性能。

    Jul, 2023

  • 半监督训练以提高端到端语音合成的数据效率

    本文提出了一种半监督的训练框架来提高 Tacotron 数据效率，通过利用大量的公开文本和语音语料库的文本和声学知识，该框架使 Tacotron 能够使用不到半小时的配对训练数据生成可理解的语音。

    Aug, 2018

  • 增强合成语音的语音识别

    本文探讨使用不同领域的双语料库进行音频识别训练的数据增强方法，通过使用 Tacotron 合成语音的方式，来提升语音识别的性能。研究表明，使用合成材料进行数据增强可以实现对语音识别性能的提高，但是自然语音和合成语音训练识别器的性能仍有很大的差距。

    Sep, 2019