Dec, 2023

EmphAssess：语音到语音模型中强调转移评估的韵律基准

PDF
TL;DREmphAssess 是一个用于评估语音到语音模型编码和重现韵律重音能力的韵律基准，并介绍了 EmphaClass 模型对重音进行帧或词级别分类的方法。
emphassessprosodic benchmarkspeech-to-speech modelsemphasisemphaclass
发现论文，激发创造
  • EMPHASIS: 基于情感音素的语音合成系统的声学模型

    EMPHASIS 是一种基于情感音素的语音合成系统，使用 CBHG 回归网络来建模语音和声学特征之间的依赖关系，并采用特征分组策略来增强情感和韵律特征，可在实时生成具有高音质的感叹和疑问语调的多种语言（目前支持中英文），在情感语音合成实验中取得了更好的主观结果。

    Jun, 2018

  • 具有语言信息的强调表达 TTS 技术

    提出了一种基于 EE-TTS 的强调语音合成模型，该模型利用多层语言信息进行韵律信息的预测，并同时进行语音合成和语言信息输出，并经过实验证明其优于基线模型，并且在不同数据集上也具有较强的泛化能力。

    May, 2023

  • ProsAudit, 自监督语音模型的韵律基准

    本文介绍了一个叫 ProsAudit 的英文基准测试，旨在评估自我监督学习（SSL）语音模型中的结构韵律知识，它由两个子任务、相应的指标和评估数据集组成。通过对一系列 SSL 模型的评估，发现这些模型在两个子任务上表现良好，特别地，大型模型在这两个子任务中表现更好。同时本文也强调了词汇知识在这一任务中的重要性。

    Feb, 2023

  • 一种全面级联系统、基准测试和人类评估协议，用于表达性语音翻译

    本文提出了一个将多个韵律转移技术综合起来的综合层次系统（holistic cascade system）来把源语言的情感转移到目标语言中。我们还建立了一个基准的情感测试集来评估多重情感维度。实验结果表明，这种综合建模方法优于单一方面的研究。

    Jan, 2023

  • 情感感知的韵律短语化对表达性文本转语音

    为了提高端到端文本转语音（TTS）的自然程度和可理解性，本文提出了一种情感感知的韵律短语模型（EmoPP），准确挖掘话语的情感线索并预测适当的短语断点，并通过客观和主观评估证明 EmoPP 在情感表达能力方面优于所有基线模型，取得了显著的性能。音频样本和代码可在 https://github.com/AI-S2-Lab/EmoPP 获取。

    Sep, 2023

  • 通过提炼韵律和语言情感表达的语音情感识别

    EmoDistill 是一个新颖的语音情感识别（SER）框架，利用跨模态知识蒸馏在训练期间从语音中学习强大的语言和韵律情感表示。在推断过程中，我们的方法仅使用一系列语音信号执行单模态 SER，从而减少计算开销并避免运行时转录和韵律特征提取错误。在 IEMOCAP 基准上的实验证明，我们的方法以相当大的优势胜过其他单模态和多模态技术，并实现了 77.49％的非加权准确率和 78.91％的加权准确率。详细的消融研究展示了我们方法的每个组成部分的影响。

    Sep, 2023

  • 零数据的文本语音可控重音

    本文提出了一种可扩展的方法来产生高质量的文本转语音 (TTS) 的强调效果，并在不需要录音或注释的情况下实现，通过预测强调词的持续时间的简单但有效的方法，比光谱图修改技术更好地改善自然度 7.3％，并通过 40％正确测试强调的单词在一个女性 en-US 参考语音的句子中的识别。

    Jul, 2023

  • 学习多语种表达性语音表示以进行无平行数据的韵律预测

    本文提出一种语音到语音的情感保留翻译方法，利用多语言情感嵌入技术来捕捉情感信息，并在英语和法语语音信号中验证了该方法的有效性。

    Jun, 2023

  • 提升无文字语音翻译中的表达能力转移

    通过离散语音单元级别的多语情感嵌入，以及有效地预测目标语言中的语音单元的音高和持续时间，本研究展示了一种能够有效捕捉跨不同语言的表达能力的新方法，通过客观和主观实验，结果显示本方法在提高传达情感和文化细微差别方面优于当前先进系统的表达能力转移。

    Oct, 2023

  • 跨语言对话的语调转移

    语音到语音翻译系统需要克服适用于对话用途时可能会丧失言者意图和立场微妙细节的问题，通过开发一个数据收集协议并研究跨语言韵律差异，我们提出了一种简单的韵律差异度量方法，并基于此对三个基本模型的实用性进行了评估，结果可指导未来跨语言韵律以及有效韵律传递的语音到语音翻译系统的设计。

    Jul, 2023