Oct, 2021

DelightfulTTS: 微软语音合成系统参加暴雪挑战 2021

PDF
TL;DR本文描述了 Microsoft 的端到端神经文本语音合成系统：用于 Blizzard Challenge 2021 的 DelightfulTTS。该系统在两个方面实现了将文本合成成自然且高质量的语音：一方面是直接建模和生成 48 kHz 采样率的波形，另一方面是通过系统化设计来建模语音中的变化信息，从而提高韵律和自然度。
neural text to speech48 khz waveformhifinetprosodyconformer block
发现论文，激发创造
  • Blizzard 2023 挑战中的 FruitShell 法语综合系统

    该研究论文介绍了一个面向 Blizzard Challenge 2023 的法语文本转语音合成系统，通过数据筛选、数据增强和声学模型等方法，实现高质量的语音合成。

    Sep, 2023

  • 使用 LPCNet 的高质量轻量化和可适应的语音合成技术

    本研究提出了一种轻量级的适应性神经 TTS 系统，采用三个单独的神经网络块来实现韵律预测、声学特征预测和线性预测编码神经声码器，性能接近自然语音合成，同时在标准 CPU 上实时性能比真实速度快 3 倍，系统的模块化设置使得可适应新的语音，只需要少量的数据，在大量实验中展示了系统的高质量和适应性，提高了 0.12 的质量差距和 3% 的相似性差距，可适应未见的声音和性别的合成。

    May, 2019

  • 面向下一个十亿用户构建文本转语音系统

    本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。

    Nov, 2022

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 深度之声：实时神经文本转语音

    Deep Voice 是一个使用深度神经网络构建的优秀的文本到语音系统，由五个主要组成部分构成，包括用于定位语音边界的分段模型、字素到音素转换模型、音素持续时间预测模型、基频预测模型和音频合成模型。通过使用神经网络进行每个组件的构建，既简单又灵活。此外，我们通过优化后的 WaveNet 推断内核，实现了 400 倍的实时速度。

    Feb, 2017

  • 2023 年暴雪挑战赛的 IMS Toucan 系统

    改进法语文本至音素处理系统，包括同音异形解歧，使用 Conformer 和 Glow 基于规则的音素转谱图，再通过基于 GAN 的神经声码器将谱图转换为最终音波，应用于 Blizzard Challenge 2023。

    Oct, 2023

  • NaturalSpeech：端到端文本语音合成，质量达人类水平

    本文提出了一种基于变分自动编码器的 TTS 系统 NaturalSpeech，通过多个关键模块提高文本先验的容量和语音后验的复杂度，同时在 LJSpeech 数据集上实验证明该系统在句子级别上达到了人类录音的 - 0.01 CMOS（比较平均意见分数），与人类录音不存在显著性差异。

    May, 2022

  • 神经语音合成调查

    本文全面调研了神经网络 TTS 在包括文本分析、声学模型、声码器等方面的研究进展，进一步总结了相关资源（数据集、开源实现），并提出了未来的研究方向。

    Jun, 2021

  • 通过在 Mel 频谱预测上调节 WaveNet，进行自然语音合成

    该论文阐述了 Tacotron 2 的神经网络框架，该框架可以从文本中直接合成语音，其系统由一种递归的序列到序列的特征预测网络和一个修改的 WaveNet 模型组成，能够实现与专业录制的语音相当的平均意见分数 (MOS)。

    Dec, 2017

  • NaturalSpeech 2: 潜在扩散模型是自然且零 - shot 的语音和歌唱合成器

    本研究提出了一种利用神经音频编解码器和扩散模型生成取定潜向量的文本转语音系统，同时设计了自然语音提示机制以促进扩散模型和时域 / 频域预测器的上下文学习，能够实现不同说话人以及多样化合成的语音转换。实验表明，在零样本情况下，与之前的 TTS 系统相比，本系统在语调、音色相似度、鲁棒性和音质方面都有显著的提高，并能通过只提供语音提示来实现新的零样本歌唱合成。

    Apr, 2023