May, 2023

Make-A-Voice: 离散表示下统一语音合成

PDF
TL;DR本研究提出了一个名为 Make-A-Voice 的语音合成框架，其中采用自监督数据集来实现文本语音合成、语音转换和唱歌声音合成等语音合成应用，并取得优越的音频质量和样式相似性。
voice synthesismake-a-voiceself-supervised datasettext-to-speechvoice conversion
发现论文，激发创造
  • 高保真度语音合成的最小监督方法：全部使用扩散模型

    我们提出了一种基于扩散模型的最小监督高保真语音合成方法，其中所有模块均基于扩散模型构建，非自回归框架增强了可控性，持续时间扩散模型实现了多样化的韵律表达。

    Sep, 2023

  • 一个自监督离散语音单元的统一单次韵律和说话人转换系统

    我们提出了一种统一的系统，可以实现一次性的声音转换，包括语调、节奏和说话人属性，并利用自监督离散语音单元作为语言表示来解决语音转换过程中自然度、完整性等问题，并通过实验证明其在自然度、可理解性、说话人迁移性和韵律迁移性方面优于以往的方法。

    Nov, 2022

  • 多说者语音合成的细粒度噪声控制

    本文提出了一种基于对抗训练、表示瓶颈和音框级建模的无监督噪音建模方法和基于全层次变分自编码器的细粒度语调建模方法，以更好地进行语音合成并将主要因素与噪声和背景噪声分离。

    Apr, 2022

  • 从离散语音表示合成个性化非语音声化

    本文研究了非语言声音（NSV）建模作为文本转语音任务的可行性，评估了 HUBERT 语音单元在 NSVs 上的语音表现力和模型控制扩展演讲者音色的能力，还探讨了实现 NSV 建模的障碍，提出了五种未来研究改进方法。

    Jun, 2022

  • MakeSinger: 一种用于数据高效的半监督训练方法的歌声合成，通过无分类器扩散引导

    通过无分类器扩散引导的 MakeSinger 半监督训练方法，提高合成的歌声质量，并展示即使在无歌声数据的情况下，通过训练文字转语音 (TTS) 数据的模型仍可以合成 TTS 说话者的歌声。

    Jun, 2024

  • VoxGenesis：无监督发现语音合成的潜在说话人流形

    提出了一种无监督的语音合成框架 VoxGenesis，通过探索潜在空间，发现与特定说话者特征相关的可解释方向，实现对声音的编辑，并生成更具多样性和真实性的说话者。

    Mar, 2024

  • 半监督生成建模用于可控语音合成

    本文提出一种新颖的生成模型，它将最先进的神经文本到语音技术和半监督概率潜变量模型相结合。通过对某些潜变量进行部分监督，我们能够强制它们具有一致和可解释的特征，这在纯无监督的文本到语音模型中过去是不可能的。我们证明了我们的模型能够可靠地发现和控制语音的重要属性（例如情感和语速），即使只监督 1％（30 分钟）。在这样低的监督水平下，我们观察不到合成质量与最先进的基线水平相比的下降。

    Oct, 2019

  • 离散无监督单元实现的语音风格转换

    该研究提出了一种基于自监督预训练模型的无配对数据标准的语音转换方法，不仅能够转换说话人的音色，而且还能够转换韵律及音调等语音韵律信息，并且在定量和定性评估中优于其他方法。

    Dec, 2022

  • UTTS：基于条件去耦合序列变分自编码器的无监督语音合成

    本文提出了一种新的无监督文本到语音（UTTS）框架，支持零样本语音克隆和高自然度、可理解度语音合成，是从分离的语音表示学习的角度开发的多说话人语音合成器，其利用了最近在自监督语音表示学习和语音合成前端技术方面的先进进展，在训练期间提供了条件分离的时序变分自编码器（C-DSVAE）作为骨干 UTTS AM。

    Jun, 2022

  • 无监督跨域歌声转换

    本文提出了一种无需手动监督的端对端 wav 到 wav 生成模型，用于实现任意身份的歌声转换，该模型利用音响模型和提取的旋律特征来驱动基于波形的生成器，经实验证明，在音频质量方面表现显著优于基线方法。

    Aug, 2020