Apr, 2023

ArmanTTS 波斯语单说话人数据集

PDF
TL;DR本文介绍了单人发音数据集 ArmanTTS，通过对比各种普遍数据集的特征，证明了 ArmanTTS 是教授波斯文本到语音转换模型所必需的标准。我们结合 Tacotron 2 和 HiFi GAN 设计了一个模型，可以接收音素作为输入，输出是相应的语音合成，并获得了 MOS 评分分别为实际语音的值为 4.0、音频编解码器预测的值为 3.87 和 TTS 模型生成的合成语音的值为 2.98。
发现论文，激发创造
  • MnTTS: 一种开源的蒙古文语音合成数据集及相关基准模型

    这篇论文介绍了一个高质量的蒙古文开源文本到语音（TTS）综合数据集，这是第一个公开可用的数据集，为蒙古 TTS 应用在学术界和工业界的推广做出了贡献。该数据集共包括了约 8 小时的由 22 岁的专业女性蒙古语播音员朗读并进行转录的音频记录。论文中描述了数据集开发的过程、面临的挑战以及构建基于 FastSpeech2 模型和 HiFi-GAN 声码器非自回归基线系统的经验和评估结果，该系统在 MOS 评分上达到 4 以上且 RTF 约为 $3.30 imes10^{-1}$，可以实际应用。

    Sep, 2022

  • 一种多用途的音频 - 视觉语料库，用于多模式波斯语语音识别：Arman-AV 数据集

    本文提出一个新的适用于波斯语的多用途视听数据集，包括近 220 小时的视频，可用于自动语音识别、视听语音识别、说话人识别和自动口型阅读。同时，本数据集也是波斯语中第一个大规模口型阅读数据集。还提出了一种检测波斯语中视音素（一个音素的可视对应物）的技术，在相对于先前提出的视音素方案的基础上可以将口型阅读精度提高 7%。

    Jan, 2023

  • MnTTS2: 一个开源的多说话人蒙古语文本到语音合成数据集

    本文介绍了一个名为 MnTTS2 的开源多说话者蒙古语文本转语音数据集，旨在为相关研究人员提供帮助。作者使用现代技术构建了这个 30 小时语音数据库，并开发了基于 FastSpeech2 模型的基线系统，实验结果表明该数据集可以用于构建真实世界的鲁棒多说话者 TTS 模型。

    Dec, 2022

  • ClArTTS: 一个开放源代码的古典阿拉伯语语音合成语料库

    通过提供一个古典阿拉伯文本到语音合成的语音语料库 (ClArTTS)，我们填补了现有资源中阿拉伯语音语料库的空缺，以支持一些现代的端到端阿拉伯语音合成系统。

    Feb, 2023

  • 面向阿拉伯方言的零射 Text-To-Speech

    构建了一个包含多个方言的阿拉伯语音合成模型并通过评估表明其潜力大。

    Jun, 2024

  • 高质量文本转语音数据集生成的自动化端到端开源软件

    通过集成特定语言的音位分布、自动化录制过程、自动化和人机协同质量保证、以及记录的处理以符合指定格式，本文引入了一种端到端工具以生成文本到语音 (TTS) 模型的高质量数据集，以满足对高质量数据的重要需求，从而简化 TTS 模型的数据集创建过程，促进基于语音的技术的发展。

    Feb, 2024

  • 使用合成数据和迁移学习在低资源文本转语音系统中进行快速说话者适应

    使用端到端深度学习方法构建的文本到语音系统，通过高资源语言数据和合成数据进行迁移学习，利用目标语言中的现有单语者文本到语音系统生成领域内合成数据，实现在低资源环境下训练高质量的单语者文本到语音系统，证明了双重预训练和仅解码器微调的重要性，并提出了一种低成本的自定义文本到语音模型训练解决方案。

    Dec, 2023

  • 面向下一个十亿用户构建文本转语音系统

    本研究评估了科威特琴主义和印度Ａryan 语言的声学模型、语音合成器、辅助损失函数、训练计划和说话者和语言多样性。基于此，我们确定了单语模型与 FastPitch 和 HiFi-GAN V1，联合训练男性和女性说话者表现最佳。在这个设置下，我们为 13 种语言训练和评估 TTS 模型，并发现我们的模型在所有语言中都明显优于现有模型。我们通过 Bhashini 平台开源所有模型。

    Nov, 2022

  • Hi-Fi 多说者英语语音合成数据集

    本文介绍了一个新的多说话人英语数据集 用于训练文本转语音模型。该数据集基于处于公共领域的 LibriVox 有声读物和 Project Gutenberg 文本书籍。新数据集包含 10 个说话者的约 292 小时的语音样本，采样率为 44.1 kHz，每个说话者至少有 17 小时的语音。为了选择高质量的语音样本，我们考虑了至少 13 kHz 的信号带宽和至少 32 dB 的信噪比（SNR）的音频记录。该数据集已公开发布在此 http 网址。

    Apr, 2021

  • 为增强 ASR 训练而选择文本转语音数据

    本文提出了一种方法，通过训练神经网络来选择合适的合成语音样本，使其作为自动语音识别模型的辅助训练数据，这在训练中包括有实际的标注数据和合成的数据。在实验中，我们发现将与真实语音具有较大差异性的合成样本（由于词汇差异等原因）纳入到训练中对于提高语音识别性能至关重要，同时，我们的方法可以显著减小文本 — 语音转换（TTS）数据的大小。

    May, 2023