Jun, 2018

EMPHASIS: 基于情感音素的语音合成系统的声学模型

PDF
TL;DREMPHASIS 是一种基于情感音素的语音合成系统，使用 CBHG 回归网络来建模语音和声学特征之间的依赖关系，并采用特征分组策略来增强情感和韵律特征，可在实时生成具有高音质的感叹和疑问语调的多种语言（目前支持中英文），在情感语音合成实验中取得了更好的主观结果。
emphasisemotional phoneme-based acoustic modelspeech synthesislinguistic and acoustic featuresreal-time
发现论文，激发创造
  • EmphAssess：语音到语音模型中强调转移评估的韵律基准

    EmphAssess 是一个用于评估语音到语音模型编码和重现韵律重音能力的韵律基准，并介绍了 EmphaClass 模型对重音进行帧或词级别分类的方法。

    Dec, 2023

  • 具有语言信息的强调表达 TTS 技术

    提出了一种基于 EE-TTS 的强调语音合成模型，该模型利用多层语言信息进行韵律信息的预测，并同时进行语音合成和语言信息输出，并经过实验证明其优于基线模型，并且在不同数据集上也具有较强的泛化能力。

    May, 2023

  • 零数据的文本语音可控重音

    本文提出了一种可扩展的方法来产生高质量的文本转语音 (TTS) 的强调效果，并在不需要录音或注释的情况下实现，通过预测强调词的持续时间的简单但有效的方法，比光谱图修改技术更好地改善自然度 7.3％，并通过 40％正确测试强调的单词在一个女性 en-US 参考语音的句子中的识别。

    Jul, 2023

  • 情感感知的韵律短语化对表达性文本转语音

    为了提高端到端文本转语音（TTS）的自然程度和可理解性，本文提出了一种情感感知的韵律短语模型（EmoPP），准确挖掘话语的情感线索并预测适当的短语断点，并通过客观和主观评估证明 EmoPP 在情感表达能力方面优于所有基线模型，取得了显著的性能。音频样本和代码可在 https://github.com/AI-S2-Lab/EmoPP 获取。

    Sep, 2023

  • EmoSpeech：引领 FastSpeech2 朝向情感文本朗读技术的方向

    本文探讨了在 FastSpeech2 的基础上如何通过更改结构实现情感语音的合成，并且在自动和人体评估中， 创造了 EmoSpeech 模型，该模型的 MOS 得分和情感识别准确性均超过了现有模型。

    Jun, 2023

  • 混合情感语音合成

    本研究提出一种新的情感文本转语音框架，通过量化不同情绪之间的差异，训练模型并控制模型在运行时生成所需的情感混合，实现了语音情感合成研究中的情感混合模拟。

    Aug, 2022

  • 使用多跳注意力机制的语音情感识别

    该论文提出了一种利用音频和文本信息的语音情感分类方法，使用双向 LSTM 和多跳注意力机制，在 IEMOCAP 数据集上，相对于现有技术，其在加权准确率上提高了 6.5% 的性能。

    Apr, 2019

  • 基于发音器官学的可控表情语音合成

    通过声音的产生水平，我们以声韵学为基础，定义了一个由声门化、紧张度和共振三个维度构成的框架（GTR），来研究表达性语音合成，记录了一个包含 20 个中文句子以及 125 个不同 GTR 组合的高质量语音数据集（GTR-Voice），并通过自动分类和听力测试验证了该框架和 GTR 注释的精确可控性，并在两个经过微调的表达性 TTS 模型上展示了 GTR 维度上的精确控制能力，同时也开源了数据集和 TTS 模型。

    Jun, 2024

  • AffectEcho: 语音合成的与说话人无关和语言无关的情感和情绪转移

    AffectEcho 是一种情感转换模型，通过使用 Vector Quantized codebook 在量化空间中建模具有五个不同强度级别的情感，从而捕捉相同情感的复杂细微差别，实验结果证明了该方法在生成语音时控制情感的有效性以及保留每个说话者独特身份、风格和情感韵律方面的优势。

    Aug, 2023

  • EMOVIE：一种普通话情感语音数据集及其简单情感文本转语音模型

    本篇论文提供了包括 9,724 个样本的情感语音数据集，并提出了一种名为 EMSpeech 的情感语音合成模型，该模型无需参考音频即可从文本预测情感标签并生成更富表现力的语音。在实验中，作者验证了数据集的有效性，证明了该模型在情感语音合成任务中取得了显著性能。

    Jun, 2021