Jun, 2019

单尺度高条件数流用于非平行原始音频的语音转换

PDF
TL;DR该研究提出了一种使用超网络条件的单尺度归一化流模型（Blow），用于以单个讲话者身份识别器为基础的一对多语音转换，可以在处理非平行数据时达到良好的目标和主观性能，为原始音频生成提供了一种新的解决方案。
发现论文，激发创造
  • 基于流模型语音转换实现跨语言语音合成以提高发音

    该论文介绍了一种端到端的跨语言文字转语音方法，使用基于非注意力 Tacotron 架构的模型，并通过使用条件为说话人身份的归一化流网络，实现 TTS 和语音转换（VC）的可同时进行，该方法可以在低资源情景下获得良好效果。

    Oct, 2022

  • FloWaveNet：用于原始音频的生成流

    本文提出了 FloWaveNet，一种基于可逆流的生成模型，使用单阶段训练程序和单个最大似然损失函数，无需附加的辅助项，能实时高效地输出与先前两阶段并行模型相媲美的清晰音频

    Nov, 2018

  • AE-Flow：自动编码器归一化流

    我们引入一种新的训练范式：自编码器归一化流（AE-Flow），它通过添加重构损失，使模型使用条件信息重构音频样本，结果表明该方法在正常化流的训练中系统地提高了说话者相似性和自然度。

    Dec, 2023

  • 使用实例标准化分离说话者和内容表示进行单次语音转换

    本文提出了一种使用仅一次源和目标说话者示例语音，通过实例归一化来分解说话者和语音内容表示的一次性语音转换方法，无需事先见过源和目标说话者训练模型即可执行声音转换，目标语音及说话者的相似性得到了客观和主观的评估，同时表明该模型可以在没有任何监督的情况下学习含义深层次的说话者表示。

    Apr, 2019

  • 利用正规化流生成新的语音

    通过归一化流（normalizing flows）实现从训练时未见过的声音身份合成逼真、自然的合成语音的研究中，我们创建了一种文本转语音（TTS）和语音转换（VC）的方法，并使用客观和主观指标来评估技术在零样本和新声音语音合成任务中的性能，实验证明该方法能够在零样本语音合成和创造未在训练集中出现的多种新声音方面取得最先进的性能。

    Dec, 2023

  • WaveFlow: 面向原始音频的紧凑流模型

    本文介绍了一种小型的 WaveFlow 产生式流，可以训练原始音频并合成高保真语音，只需几个步骤即可生成成千上万个时间步长的波形，并具有比 WaveGlow 小 15 倍的参数和 42.6 倍的音频合成速度。

    Dec, 2019

  • 正则流与扩散模型在文本转语音中的韵律和声学建模的比较

    神经语音合成系统通常以 L1/L2 损失为优化目标，本研究比较了传统的基于 L1/L2 的方法与扩散和流模型在语音合成中的效果，并发现流模型在音谱图预测方面表现最佳，同时扩散和流模型在韵律预测方面也显著优于典型的 L2 训练模型。

    Jul, 2023

  • VoiceFlow：具有修正流匹配的高效文本到语音

    VoiceFlow 是一种声学模型，利用修正流匹配算法实现高质量综合音频的有限采样步骤，比扩散对应模型具有更好的合成质量。

    Sep, 2023

  • 从有条件的归一化流中提取知识

    本研究通过提出一种简单的蒸馏方法，证明了在图像超分辨率和语音合成领域，可以将基于流的模型提炼为更高效的替代模型。

    Jun, 2021

  • WaveNODE: 语音合成的连续归一化流

    本文提出了一种名为 WaveNODE 的新型生成模型，用于语音合成，并通过连续归一化流来实现。WaveNODE 不需要学生网络或辅助损失项，具有更灵活和复杂的函数，并可以最大化似然性，从而实现可比较的性能。

    Jun, 2020