Jun, 2024

EmoSphere-TTS: 通过球形情感向量实现情感风格与强度建模的可控情感文本到语音技术

PDF
TL;DR通过使用球形情感向量来控制合成语音的情感风格和强度，提出了 EmoSphere-TTS，该系统实现了表达性的情感语音。通过使用唤起度、愉悦度和支配性伪标签来模拟情感的复杂特性，进而提出了双条件对抗网络来提高生成语音质量，实验结果表明该模型能够高质量地控制情感风格和强度。
emotional text-to-speechemosphere-ttsspeech emotionemotional styleexpressive speech
发现论文，激发创造
  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • EmoDiff：带软标签引导的可控强度情感语音合成

    本文提出 EmoDiff 模型，采用分类器指导的软标签技术来控制情感强度，从而能够在维持高质量的同时精确控制情感强度，并能够生成出具有特定情感强度的多样化语音。

    Nov, 2022

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • EmoSpeech：引领 FastSpeech2 朝向情感文本朗读技术的方向

    本文探讨了在 FastSpeech2 的基础上如何通过更改结构实现情感语音的合成，并且在自动和人体评估中， 创造了 EmoSpeech 模型，该模型的 MOS 得分和情感识别准确性均超过了现有模型。

    Jun, 2023

  • 通过操作语音风格潜在因素进行跨说话人情感转移

    本文提出一种基于潜在风格空间中的矢量算术方法的跨说话人情感转移和操纵研究，可以使用仅有的几个标记样本从阅读风格语音生成情感语音，并且情感强度可以轻松控制，保留了说话人的身份。实验结果表明这种方法在表达性、自然度和可控性方面具有优越性。

    Mar, 2023

  • 利用语言模型探索语音风格空间：无情感标签的情感合成

    设计了一个新颖的两阶段框架 TEMOTTS，用于基于文本的情感语音合成任务，该框架在没有情感标签和文本提示的情况下进行训练，并能够无需辅助输入进行推理。利用 BERT 学习的语言空间和全局风格标记构建的情感风格空间之间进行知识转移，实验证明了该框架的有效性，提高了情感准确性和自然度。这是第一个充分利用口头内容与表现风格之间情感相关性的情感语音合成研究之一。

    May, 2024

  • 混合情感语音合成

    本研究提出一种新的情感文本转语音框架，通过量化不同情绪之间的差异，训练模型并控制模型在运行时生成所需的情感混合，实现了语音情感合成研究中的情感混合模拟。

    Aug, 2022

  • 利用跨领域语音情感识别协助，使用无标记情感数据集进行情感可控语音合成

    本文提出了一种新颖的情感文本转语音合成方法，通过跨域语音情感识别模型和情感文本转语音模型进行联合训练，从而在不需要情感标签的 TTS 数据集上生成具有情感表现力的语音，并且几乎不影响其语音质量。

    Oct, 2020

  • 文本转语音的细粒度情感控制：学习排名类内和类间情感强度

    本文提出了一种精细可控的情感语音生成模型，考虑到类间和类内距离，能够产生有较大情感区别的自然语音，实验证明该模型的可控性、情感表现力和自然度均优于两种现有的同类模型。

    Mar, 2023

  • 使用不平衡的语音数据学习情感表示，用于语音情感识别和情感文本转语音

    本研究提出情感抽取器解决了在语音情感识别和情感语音合成等任务中因数据集不平衡带来的问题，并采用数据增强方法训练模型以提取出通用有效的语音情感表征，为情感语音合成任务提供更具表现力的语音。

    Jun, 2023