Mar, 2023

QI-TTS: 用于情感语音合成的问句语调控制

PDF
TL;DR本文提出 QI-TTS，通过多风格提取器和相对属性，实现了表达问句意图和转移 emmotion 的精细化音调控制，实验证明了其在情感语音合成中改善语调表达效果的有效性。
expressive text to speechintonation controlemotion transfermulti-style extractorrelative attributes
发现论文，激发创造
  • 文本转语音的细粒度情感控制：学习排名类内和类间情感强度

    本文提出了一种精细可控的情感语音生成模型，考虑到类间和类内距离，能够产生有较大情感区别的自然语音，实验证明该模型的可控性、情感表现力和自然度均优于两种现有的同类模型。

    Mar, 2023

  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • 情感语音合成的细粒度情感强度传输、控制和预测

    本文提出了一种用于序列到序列的细粒度情感语音合成的统一模型，通过学习到的排名函数引入音素级情感强度表示来描述本地情感细节，并采用句子级情感类别来呈现合成语音的全局情感。

    Nov, 2020

  • 可控口音的语音合成

    该论文提出了一种神经网络 TTS 架构，可在推理期间控制重音和重音强度，并以三种新机制实现，即使用方案控制因子建模复杂的重音变异，量化重音强度的强调强度建模策略以及一致性约束模块。实验为该模型的重音渲染和强度控制性能提供了证明，并证明其是有史以来第一篇关于具有明确强度控制的重音 TTS 合成的研究。

    Sep, 2022

  • 重音文本转语音的明确强度掌控

    本文提出了一种直观明确的口音强度控制方案，首先从 L1 语音识别模型中提取后验概率，称为 “发音好坏度”，量化有重音的语音的音素重音程度，然后设计了一种基于 FastSpeech2 的 TTS 模型 Ai-TTS，在语音生成过程中考虑口音强度表达。实验证明，我们的方法在口音渲染和强度控制方面优于基线模型。

    Oct, 2022

  • 情境表达式语音合成

    本研究提出了一种新的任务设置，即什么样的语音是由特定环境所决定的，而非仅仅局限于情绪的预定义类别，为此，我们构建了一个综合数据集并开发了一个有效的框架来生成高质量的自然语音。

    Nov, 2022

  • 粤语神经语音合成中升调建模研究

    本文提出了使用基于 BERT 的陈述 / 疑问分类器来弥补普通神经文本到语音系统无法合成升调的缺点，对不同训练策略进行比较并在 CanTTS 语料库上进行实验，结果表明分别训练方法在泛化性能和可行性上表现最佳。

    Aug, 2022

  • 具有语言信息的强调表达 TTS 技术

    提出了一种基于 EE-TTS 的强调语音合成模型，该模型利用多层语言信息进行韵律信息的预测，并同时进行语音合成和语言信息输出，并经过实验证明其优于基线模型，并且在不同数据集上也具有较强的泛化能力。

    May, 2023

  • PoeticTTS -- 用于文学研究的可控诗歌朗读

    本研究提出了一种方法，对诗歌进行语音合成，从而使文学学者可以系统地研究文本、口语实现和听众对诗歌的感知之间的相互影响，并发现该方法在客观评估和人类研究中取得了成功。

    Jul, 2022