Jun, 2024

MakeSinger: 一种用于数据高效的半监督训练方法的歌声合成，通过无分类器扩散引导

PDF
TL;DR通过无分类器扩散引导的 MakeSinger 半监督训练方法，提高合成的歌声质量，并展示即使在无歌声数据的情况下，通过训练文字转语音 (TTS) 数据的模型仍可以合成 TTS 说话者的歌声。
singing voice synthesissemi-supervised trainingdiffusion guidanceunlabeled datatext-to-speech (tts)
发现论文，激发创造
  • DeepSinger：基于网络挖掘数据的歌声合成

    本文介绍了 DeepSinger，这是一个从音乐网站中抓取数据训练的多语言、多歌手的歌唱声音合成系统，其特点包括自动化的对齐模型、基于 Transformer 的合成模型以及多语言、多歌手的支持

    Jul, 2020

  • DiffSinger：一种浅层扩散机制的歌声合成方法

    本文提出了一种基于扩散概率模型的声学模型 DiffSinger，具有较好的稳定性和生成能力，较传统算法在歌唱合成上表现更好。

    May, 2021

  • WeSinger: 使用辅助损失函数的数据扩增歌声合成

    本文介绍了一种新型的多歌手中文神经唱歌声合成系统 WeSinger，它采用了 24 kHz LPCNet 和多歌手预训练，通过定制的模块和技术大幅提高了合成歌声的准确性和自然度。该系统在公共中文唱歌语料库 Opencpop 上取得了最先进的性能表现。

    Mar, 2022

  • 使用无旋律监督预训练提升单音人声合成的音域

    基于先前的研究，在一个多歌手的数据集上进行的旋律无监督多说话人预训练方法，提高了单个说话人的声域，同时不降低音色相似性。这种预训练方法可以应用于只包含音频和歌词对的大规模多歌手数据集，并改善了合成歌声的音质和节奏自然度。

    Sep, 2023

  • RMSSinger：基于真实乐谱的歌声合成

    本文提出 RMSSinger 方法，在基于真实音乐分数的歌唱声合成 (RMS-SVS) 领域第一次使用单词级模型，避免了繁琐的音素时长注释和复杂的音素级音符对齐，并进一步提出了第一种基于扩散过程的音高建模方法，在新的数据集上广泛实验，证明了我们方法的有效性。

    May, 2023

  • StyleSinger: 跨领域歌声合成的风格转换

    StyleSinger 是首个用于零样本风格转移的领域外参考唱声样本的歌声合成模型，通过采用剩余风格适应器和不确定性建模层标准化的关键方法，它在音频质量和与参考唱声样本的相似性方面优于基线模型。

    Dec, 2023

  • 通过神经音频编解码器和潜在扩散模型实现高质量歌声合成

    HiddenSinger 是一个高质量的歌唱声音合成系统，使用神经音频编解码器和潜在扩散模型，解决了模型复杂性和可控性的问题，并在无标签歌声数据集上训练，产生了高品质的歌声合成结果。

    Jun, 2023

  • 提升歌声合成表达力的方向：基于 BERT 派生语义信息

    该研究介绍了一种端到端的高质量歌声合成（SVS）系统，其使用来自 Transformers（BERT）的双向编码器表示衍生的语义嵌入来提高合成歌声的表现力。

    Aug, 2023

  • 促进的歌唱声音合成：通过自然语言提示实现可控

    提供了一种新的歌声合成方法 Prompt-Singer，使得合成歌声能够通过自然语言明确地控制歌手的性别、音域和音量，并使用基于解码器的 transformer 模型和多尺度层次结构设计了分离音域旋律的音高表示方法以保持旋律准确性，同时，对不同类型的文本表示、文本编码器微调和引入语音数据以减轻数据稀缺问题等不同实验设置进行了探索，旨在促进进一步的研究，实验证明该模型具有良好的控制能力和音频质量。

    Mar, 2024

  • N-Singer：一种非自回归式韩语歌声合成系统，用于发音增强

    本文提出一种名为 N-Singer 的韩语歌声合成系统，通过用 Transformer-based mel-generator、卷积网络 - based postnet 和声音感知判别器来分别建模语言和音高信息以实现更准确的韩语发音和改善谱图。

    Jun, 2021