May, 2020

扩充语音人数能否提升多说话人端到端语音合成质量？

PDF
TL;DR通过创造人工说话者并利用低质量数据的正交方法，我们改进了当前的说话者适应方法，并修改了基础 Tacotron2 模型以说明这些语料库中固有的通道和方言因素，成功对方言进行语音合成，此外还通过合成质量、说话者和方言相似度进行了评估，并检验了说话者增量法的有效性。
speaker adaptationspeech synthesisspeaker similarityspeaker augmentationdialect
发现论文，激发创造
  • 数据增强用于文本转语音的跨说话人风格转移

    使用语音转换进行数据增强，构建单说话人多风格的 TTS 系统，实现控制不同说话人的风格和保留目标说话人身份的表达性语音转换。

    Feb, 2022

  • 低资源表达文本朗读的分布增强

    本文介绍了一种新的数据增强技术，用于文本到语音的任务，能够生成新的（文本，音频）训练样本，而无需额外的数据。该方法可增加训练期间可用的文本条件的多样性，有助于减少过拟合，特别是在低资源环境下。我们将文本和音频段进行替换以确保语法正确性，并采取额外措施确保合成的语音不含有由于组合不一致的音频样本而导致的伪影。感知评估结果表明，我们的方法改善了许多数据集、说话人和 TTS 体系结构的语音质量，并能大大提高基于注意力的 TTS 模型的鲁棒性。

    Feb, 2022

  • 跨语言多说话人 TTS 和跨语言语音转换进行 ASR 数据增强

    本文研究跨语种多人语音合成以及跨语种语音转换，并将其应用于自动语音识别（ASR）系统的数据增强。经过大量实验，我们证明了通过使用仅一个目标语言说话者进行模型训练，可以使用语音合成和语音转换来提高目标语言上的 ASR 系统。我们成功地缩小了 ASR 模型训练时使用合成的语音与使用人类语音之间的差距，并通过我们的数据增强方法，在目标语言中仅使用一个真实说话者就能获得有希望的 ASR 训练结果。

    Mar, 2022

  • 增强合成语音的语音识别

    本文探讨使用不同领域的双语料库进行音频识别训练的数据增强方法，通过使用 Tacotron 合成语音的方式，来提升语音识别的性能。研究表明，使用合成材料进行数据增强可以实现对语音识别性能的提高，但是自然语音和合成语音训练识别器的性能仍有很大的差距。

    Sep, 2019

  • 为注意力语音识别系统生成合成音频数据

    本文介绍了一种利用自然语言生成的人工语音并结合于现有的自动语音识别系统中的方法，并证明仅需使用语音文本数据就可对 ASR 系统进行增强，相对于数据扩充的基线模型，本方法在 LibriSpeech-100h 上获得了高达 33% 的错误率降低并且相对于最新 ASR 基线模型在 LibriSpeech-960h 上也获得了高达 5% 的未识别词率降低。

    Dec, 2019

  • Deep Voice 2: 多说话人神经文本转语音

    介绍了一种使用低维度可训练说话人嵌入的神经文本转语音技术，可以从单个模型生成不同的声音，并构建了具有高性能的构建组件：Deep Voice2 和后处理神经语音合成器的 Tacotron，通过两个多说话人 TTS 数据集演示了多说话人语音合成技术。

    May, 2017

  • 使用合成数据和迁移学习在低资源文本转语音系统中进行快速说话者适应

    使用端到端深度学习方法构建的文本到语音系统，通过高资源语言数据和合成数据进行迁移学习，利用目标语言中的现有单语者文本到语音系统生成领域内合成数据，实现在低资源环境下训练高质量的单语者文本到语音系统，证明了双重预训练和仅解码器微调的重要性，并提出了一种低成本的自定义文本到语音模型训练解决方案。

    Dec, 2023

  • 从说话人验证到多说话人语音合成的迁移学习

    描述了一个基于神经网络的文本转语音（TTS）合成系统，可以以许多不同讲话者的声音生成语音音频，该系统由三个独立训练的部分组成，包括训练说话者编码器网络进行讲话者验证任务，基于 Tacotron 2 的序列合成网络，以及将梅尔频谱图转换为时间领域波形样本的自回归 WaveNet 基声码器。

    Jun, 2018

  • 半监督训练以提高端到端语音合成的数据效率

    本文提出了一种半监督的训练框架来提高 Tacotron 数据效率，通过利用大量的公开文本和语音语料库的文本和声学知识，该框架使 Tacotron 能够使用不到半小时的配对训练数据生成可理解的语音。

    Aug, 2018

  • 无需更多数据：通过文本到语音数据增强来提高端到端语音识别

    采用数据增强和 TTS 技术，对 ASR 的训练数据进行扩充，并通过集成语言模型，在 LibriSpeech 数据上建立 end-to-end 模型，相对于半监督技术的效果更好。

    May, 2020