Sep, 2023

情感感知的韵律短语化对表达性文本转语音

PDF
TL;DR为了提高端到端文本转语音（TTS）的自然程度和可理解性，本文提出了一种情感感知的韵律短语模型（EmoPP），准确挖掘话语的情感线索并预测适当的短语断点，并通过客观和主观评估证明 EmoPP 在情感表达能力方面优于所有基线模型，取得了显著的性能。音频样本和代码可在 https://github.com/AI-S2-Lab/EmoPP 获取。
prosodic phrasingemotion-aware prosodic phrasing modelemotionphrase breaksexpressive emotion rendering
发现论文，激发创造
  • Daisy-TTS: 通过韵律嵌入分解模拟更广泛情感频谱

    在这篇论文中，我们提出了一种基于结构模型的情感文本转语音设计，旨在模拟更广泛的情感谱系。我们的设计 Daisy-TTS 中加入了韵律编码器，以学习具有情感可分离性的韵律嵌入作为情感的代理。通过一系列的感知评估，与基准相比，Daisy-TTS 展示了更高的情感语音自然度和情感可感知性。

    Feb, 2024

  • 具有语言信息的强调表达 TTS 技术

    提出了一种基于 EE-TTS 的强调语音合成模型，该模型利用多层语言信息进行韵律信息的预测，并同时进行语音合成和语言信息输出，并经过实验证明其优于基线模型，并且在不同数据集上也具有较强的泛化能力。

    May, 2023

  • 利用语言模型探索语音风格空间：无情感标签的情感合成

    设计了一个新颖的两阶段框架 TEMOTTS，用于基于文本的情感语音合成任务，该框架在没有情感标签和文本提示的情况下进行训练，并能够无需辅助输入进行推理。利用 BERT 学习的语言空间和全局风格标记构建的情感风格空间之间进行知识转移，实验证明了该框架的有效性，提高了情感准确性和自然度。这是第一个充分利用口头内容与表现风格之间情感相关性的情感语音合成研究之一。

    May, 2024

  • EmoSpeech：引领 FastSpeech2 朝向情感文本朗读技术的方向

    本文探讨了在 FastSpeech2 的基础上如何通过更改结构实现情感语音的合成，并且在自动和人体评估中， 创造了 EmoSpeech 模型，该模型的 MOS 得分和情感识别准确性均超过了现有模型。

    Jun, 2023

  • 一个面向细粒度情感分析的多层次韵律模型

    该研究通过从上下文级别的文本中预测适合的韵律特征，提出了一种多尺度文本韵律模型（D-MPM），该模型利用多尺度文本预测这些韵律特征，从而指导语音合成模型合成更具表现力的语音。

    Sep, 2023

  • 学习多语种表达性语音表示以进行无平行数据的韵律预测

    本文提出一种语音到语音的情感保留翻译方法，利用多语言情感嵌入技术来捕捉情感信息，并在英语和法语语音信号中验证了该方法的有效性。

    Jun, 2023

  • 提升无文字语音翻译中的表达能力转移

    通过离散语音单元级别的多语情感嵌入，以及有效地预测目标语言中的语音单元的音高和持续时间，本研究展示了一种能够有效捕捉跨不同语言的表达能力的新方法，通过客观和主观实验，结果显示本方法在提高传达情感和文化细微差别方面优于当前先进系统的表达能力转移。

    Oct, 2023

  • 情境表达式语音合成

    本研究提出了一种新的任务设置，即什么样的语音是由特定环境所决定的，而非仅仅局限于情绪的预定义类别，为此，我们构建了一个综合数据集并开发了一个有效的框架来生成高质量的自然语音。

    Nov, 2022

  • 利用直觉的韵律特征进行可控的神经文本转语音合成

    通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

    Sep, 2020

  • 端到端语音合成的鲁棒性和精细语调控制

    该研究提出了一种利用时间结构的音调嵌入方法，实现对合成语音言语风格的精细控制，可在帧级别和音素级别改变合成语音的音高和振幅，并且通过嵌入的时间归一化得到更好的抵抗讲话风格扰动的鲁棒性。

    Nov, 2018