Mar, 2023

通过操作语音风格潜在因素进行跨说话人情感转移

PDF
TL;DR本文提出一种基于潜在风格空间中的矢量算术方法的跨说话人情感转移和操纵研究，可以使用仅有的几个标记样本从阅读风格语音生成情感语音，并且情感强度可以轻松控制，保留了说话人的身份。实验结果表明这种方法在表达性、自然度和可控性方面具有优越性。
emotional text-to-speechcross-speaker emotion transferlatent style spacespeaker identitycontrollability
发现论文，激发创造
  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • 语音情感识别中的非监督语音风格转移数据增强

    该文研究了语音情感识别中数据不足的问题，提出了一种称为 EmoAug 的情感样式转移模型，该模型可以用来增强音频数据的情感表达，包括应对数据不平衡的问题，实验表明该模型在提取语音情感特征方面的效果显著优于现有方法。

    Nov, 2022

  • 数据增强用于文本转语音的跨说话人风格转移

    使用语音转换进行数据增强，构建单说话人多风格的 TTS 系统，实现控制不同说话人的风格和保留目标说话人身份的表达性语音转换。

    Feb, 2022

  • 非平行情感语音转换

    本文提出了一种非并行数据驱动的情感语音转换方法，通过学习两个分布之间的翻译模型而实现非并行训练，该方法在音频内容编码与情感编码空间中进行情感转换，实现了保留说话人身份和语言特征的情感相关特征转移。

    Nov, 2018

  • EmoSphere-TTS: 通过球形情感向量实现情感风格与强度建模的可控情感文本到语音技术

    通过使用球形情感向量来控制合成语音的情感风格和强度，提出了 EmoSphere-TTS，该系统实现了表达性的情感语音。通过使用唤起度、愉悦度和支配性伪标签来模拟情感的复杂特性，进而提出了双条件对抗网络来提高生成语音质量，实验结果表明该模型能够高质量地控制情感风格和强度。

    Jun, 2024

  • 利用语言模型探索语音风格空间：无情感标签的情感合成

    设计了一个新颖的两阶段框架 TEMOTTS，用于基于文本的情感语音合成任务，该框架在没有情感标签和文本提示的情况下进行训练，并能够无需辅助输入进行推理。利用 BERT 学习的语言空间和全局风格标记构建的情感风格空间之间进行知识转移，实验证明了该框架的有效性，提高了情感准确性和自然度。这是第一个充分利用口头内容与表现风格之间情感相关性的情感语音合成研究之一。

    May, 2024

  • 野外情感语音识别中的跨模态转移

    本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。

    Aug, 2018

  • 可控的情感转移用于端到端语音合成

    提出了一种基于 Tacotron 的新方法，通过引入情感分类器和样式损失，增强情感嵌入的区分能力，并通过控制情感嵌入的值，控制合成语音中的情感强度。实验结果表明，该方法合成的语音具有更高的准确性和表现力，并且情感强度的控制更加显著。

    Nov, 2020

  • 利用跨领域语音情感识别协助，使用无标记情感数据集进行情感可控语音合成

    本文提出了一种新颖的情感文本转语音合成方法，通过跨域语音情感识别模型和情感文本转语音模型进行联合训练，从而在不需要情感标签的 TTS 数据集上生成具有情感表现力的语音，并且几乎不影响其语音质量。

    Oct, 2020