Jun, 2024

改进跨文本韵律转换的人机交互方法

PDF
TL;DR通过使用人工调整显著的韵律相关因素，使得生成语音更适合目标文本，同时保持整体参考音调效果，可以提高跨文本韵律转换模型的感知自然度约 57.8％，分析结果显示，有限的用户努力就足够实现这些改进，并且潜在的参考空间接近性不是可靠的跨文本韵律相似度度量。
text-to-speechprosody transfer modelshuman-in-the-loopsalient correlates of prosodylatent reference space
发现论文，激发创造
  • 语调转移模型是否能转移语调？

    该研究探讨了使用不同于目标语音的发音作为参考语音进行训练对 Text-to-Speech 中的韵律转移的影响。结果表明，这种方法的性能明显低于使用目标语音作为参考的方法。作者假设韵律转移模型并非学习可转让的韵律表示，而是高度依赖于参考说话者和参考文本的表达。

    Mar, 2023

  • 基于 Tacotron 的端到端韵律转移实现情感化语音合成

    本文提出了一个通过学习潜在的韵律嵌入空间，从包含所需韵律的参考声学信号中扩展 Tacotron 语音合成架构的方法，利用学习到的韵律嵌入空间来进行条件控制，达到了即使参考信号和合成说话人不同也能匹配参考语音韵律细节的合成语音效果，并定义了多种定量和主观指标来评估韵律转移，展示了在不同模型上韵律转移任务的结果和相应的音频样本。

    Mar, 2018

  • ParaTTS: 基于段落的语音合成中学习跨句子的语言和韵律信息

    本文提出了一种基于跨句嵌入结构的 TTS 模型，包含语言学信息，韵律信息和位置信息，并在女性普通话语音书籍语料库上进行了训练，结果表明该模型能够生成自然、优质的段落朗读文本，且在主观和客观测试中都表现优于基于句子的模型。

    Sep, 2022

  • 面向单说者神经文本转语音的细粒度鲁棒性韵律转移

    本文提出一种神经文本转语音系统，通过使用变分自动编码器并在音标级别上聚合韵律特征，实现了从一个说话者到另一个说话者的精细韵律转移，并且解决了参考信号文本缺失的问题。主要关键字为 “神经文本转语音系统”、“韵律转移”、“变分自动编码器”、“音素级时间戳” 和 “序列到序列”。

    Jul, 2019

  • 零样本多说话人文本语音中的准确声调复制

    本论文采用 utterance 级别的规范化和发音人嵌入，在提取精细的韵律特征的同时，成功实现了音频发音人与其语调的克隆。通过客观评估和人工试验，结果表明可以在不降低质量的条件下，成功实现语音的克隆。

    Jun, 2022

  • 跨语言对话的语调转移

    语音到语音翻译系统需要克服适用于对话用途时可能会丧失言者意图和立场微妙细节的问题，通过开发一个数据收集协议并研究跨语言韵律差异，我们提出了一种简单的韵律差异度量方法，并基于此对三个基本模型的实用性进行了评估，结果可指导未来跨语言韵律以及有效韵律传递的语音到语音翻译系统的设计。

    Jul, 2023

  • 利用跨句 BERT Embeddings 改进韵律建模实现端到端语音合成

    提出了一种使用上下文信息和 BERT 嵌入的文本表征来在端到端的方式中进行语调生成，实验表明这种方法可以显著提高合成语音的自然度和表现力，并可以通过更改相邻的句子间接地控制语调。

    Nov, 2020

  • 使用大型语言模型控制说话风格以实现表情丰富的 TTS

    本研究旨在使用生成型语言模型与 TTS 模型，提供合适的发音特征，以更好地表达不同的说话风格和对话语境，从而提升语音合成的表现。

    May, 2023

  • 利用直觉的韵律特征进行可控的神经文本转语音合成

    通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

    Sep, 2020

  • HEIDL: 用深度学习和人工参与学习语言表达

    本文介绍了一种名为 HEIDL 的新型人机交互机器学习系统，可以通过高水平的、可解释的语言表达式与人交互，从而提高人类在模型预测、理解以及更新方面的参与度，并且可以使得机器学习模型能够更好地应用于实际场景中。

    Jul, 2019