Jan, 2023

以阿拉伯广播新闻为案例研究的 TTS 无监督数据选择

PDF
TL;DR本文探讨了一种针对低资源语言的完全无监督的 TTS 建模方法，旨在提高语音生成的效率并让其更接近自然人类语音。在案例研究中，该方法成功地使用了广播新闻作为语料集，通过自动数据选择和预训练 / 微调策略，提高了模型的性能。
text to speechlow-resource languagesunsupervised methoddata selectionbroadcast news
发现论文，激发创造
  • 利用数据收集和无监督学习对突尼斯阿拉伯语混合语音自动识别的提升

    本研究旨在解决突尼斯方言语音识别的挑战，通过采集和注释文本和音频数据，并探索自监督、半监督和少样本代码转换方法，使其在不同的突尼斯测试集中取得前沿成果，最终通过人工评估确保翻译的准确性，所提出的模型适用于突尼斯阿拉伯语、英语和法语的语言混合，并提供训练和测试数据供公众使用和进一步改进。

    Sep, 2023

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • 无监督文本转语音合成与无监督自动语音识别

    该论文提出了一种基于对齐模块输出伪文本和另一个合成模块使用伪文本进行训练和实际文本进行推断的无监督文本转语音综合系统，可以在每种语言的 10-20 小时语音中实现与监督系统相当的性能，并开展了对文本单元和声码器影响的研究。

    Mar, 2022

  • ClArTTS: 一个开放源代码的古典阿拉伯语语音合成语料库

    通过提供一个古典阿拉伯文本到语音合成的语音语料库 (ClArTTS)，我们填补了现有资源中阿拉伯语音语料库的空缺，以支持一些现代的端到端阿拉伯语音合成系统。

    Feb, 2023

  • 面向低资源语言的数据高效语音合成无监督预训练

    本文提出了一种基于无监督预训练的神经文本朗读生成模型，通过学习 Warped Mel-Spectrogram 的重构来优化时序关系，进一步提高数据利用效率，在低资源语言情境下实现了显著的性能提升。

    Mar, 2023

  • 面向阿拉伯方言的零射 Text-To-Speech

    构建了一个包含多个方言的阿拉伯语音合成模型并通过评估表明其潜力大。

    Jun, 2024

  • 阿拉伯语至英语广播新闻的端到端语音翻译

    本文介绍了第一个基于端到端范式的新闻广播阿拉伯语到英语语音翻译系统，并探讨了数据增强和转移学习等多种场景下基于管道和端到端的语音翻译系统的训练和比较。

    Dec, 2022

  • 阿拉伯文语音合成（TTS）数据准备

    该研究旨在解释 TTS 的相关性和数据准备过程，讨论语言学和高质量记录的创作，提供语音演员和数据规范，评估音频并影响语音系统的演变。

    Apr, 2022

  • 从文本学会说话：无监督文本预训练的零射多语言语音合成

    使用零样本学习和多语言语言模型，该研究提出了一种只使用目标语言文本数据进行多语言语音合成（TTS）的方法，其能够成功地为只有文本资源的低资源语言开发 TTS 系统，大大拓展了 TTS 的覆盖范围并能取得高度理解度。

    Jan, 2023

  • TTS-by-TTS: 基于 TTS 的数据增强技术，实现快速高质量语音合成

    本文提出了一种基于 TTS 的数据增强方法，用于改进非自回归 TTS 系统的质量，实验表明该方法显著提高了非自回归 TTS 系统的质量。

    Oct, 2020