Mar, 2023

使用半监督风格提取器和分层建模提高跨说话人风格转移的韵律表现在语音合成中

PDF
TL;DR提出了一种强度可控半监督风格提取器，用于解开语音中的风格、内容和音色，同时设计了分层韵律预测器以提高其音韵建模，并提出跨发话人循环一致性损失作为训练阶段辅助模型学习未见过的风格 - 音色组合，并展示它的效果优于基线方法。
cross-speaker style transfersemi-supervised style extractorprosody predictionhierarchical prosody predictorcycle consistency loss
发现论文，激发创造
  • 基于有声书数据的跨说话人阅读风格转移

    通过提出的分块多尺度跨说话人风格模型以及可切换式对抗分类器，本文旨在解决跨说话人的阅读风格转移问题，并证实其在多人语音书籍生成中的潜力。

    Aug, 2022

  • 通过音素级内容 - 风格解耦实现文本转语音合成中的细粒度风格建模、转移和预测

    该论文提出了一种新型的神经网络系统，用于情感文本转语音合成中的细粒度风格建模、转移和预测，该系统通过从音素水平的语音段的梅尔光谱图中提取风格嵌入来实现细粒度建模，并应用协作学习和对抗学习策略来实现内容和风格因素的有效区分。该系统不仅可以用于单个说话者情况下的不同内容的语音风格转移，还可以用于文本到语音合成，并在内容保留方面表现更好。

    Nov, 2020

  • 数据增强用于文本转语音的跨说话人风格转移

    使用语音转换进行数据增强，构建单说话人多风格的 TTS 系统，实现控制不同说话人的风格和保留目标说话人身份的表达性语音转换。

    Feb, 2022

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • 揭示表现力语音合成的潜在风格因素

    本研究通过引入风格编码器，提出了一种基于数据驱动学习的语音合成模型，无需额外标注即可单独学习语音中的韵律风格，能够在一定程度上预测并控制合成语音的韵律风格。

    Nov, 2017

  • 自监督上下文感知风格表示在表现性语音合成中的应用

    本文提出了一种利用自我监督学习从大量纯文本中学习风格表达的新框架，采用情感词典和对比学习和深度聚类，最终在多风格变换文本到语音系统中得到了更好的结果。

    Jun, 2022

  • 无标签风格迁移：量化 VAE 和基于发言人的归一化在语音合成中的跨说话人风格转换

    本研究提出了一种基于 Q-VAE 和批归一化以及数据增强的跨说话人语音风格转移方法，无需使用手动标注的标签即可实现从源说话人到目标说话人的风格迁移，并证明了该方法优于基准方法。

    Dec, 2022

  • 基于离散单元的风格转换的语音到语音翻译

    直接语音到语音翻译（S2ST）结合了离散的自监督表示，取得了显著的准确性，但无法在翻译过程中保留源语音的说话人音色。我们提出了一个基于自监督模型的离散单元和神经编解码器的 S2ST 框架，用于样式转换。声学语言模型利用自监督的上下文学习，获得了样式转换的能力，无需依赖任何说话人平行数据，从而克服了数据稀缺的问题。通过使用大量的训练数据，我们的模型可以在之前未见过的源语言上进行零 - shot 跨语言样式转换。实验证明，我们的模型生成的翻译语音在高保真度和样式相似性上表现出色。音频样本可在此网址获取。

    Sep, 2023

  • 样式手册：只使用语音数据进行任意 - 任意语音转换的内容相关说话风格建模

    本文提出一种新方法，通过自监督学习 (SSL) 模型形成注意机制，从目标话语中提取丰富的风格信息并将其高效地转移到源语音内容，从而在无需文本转录或说话者标签的情况下忠实地再现目标说话者的说话风格。通过将风格信息和源语音内容作为输入，利用扩散式解码器生成转换的语音 mel 频谱图，实验证明本方法与扩散式生成模型结合能在任何语音转换任务中实现更好的说话者相似性，并且对于长话语的计算复杂度增加的抑制效果较好。

    Sep, 2023

  • GenerSpeech: 通向可推广的跨域文本转语音风格转移

    GenerSpeech 是一种用于处理 out-of-domain (OOD) 语音合成的文本到语音模型，具有高保真的零样式迁移能力。它通过两个组件将语音变化分解为样式不可知和样式特定部分，以提高模型的泛化能力，并在零样式迁移和自适应样式迁移方面超过了现有技术。

    May, 2022