Apr, 2019

零资源语音挑战赛 2019: 无 T 的 TTS

PDF
TL;DR本文介绍了 2019 年零资源语音挑战赛，该赛事要求在没有文本或音标的情况下构建语音合成器，提供了一个目标语音的原始音频，但没有文本或标签。参赛者必须以无监督的方式发现子单元，并以最佳方式将其与声音记录对齐，以便从新的演讲者中综合出类似目标说话人的声音来生成新的话语。本文还讨论了比赛的 19 个参赛系统和主要结果。
zero resource speech challengespeech synthesizerunsupervised subword unit discoveryttsvoice dataset
发现论文，激发创造
  • 零资源语音挑战 2020: 发现离散的子词和单词单元

    通过 Zero Resource Speech Challenge 比赛，发现无标签的原始音频信号中的语音表示，主要包括发现低比特率的子词表示，以优化语音合成的质量；和发现未经分割的原始语音中的类似单词的单位。

    Oct, 2020

  • 自我监督的语言学习：从零语音资源挑战中的经验教训

    通过 Zero Resource Speech Challenge 系列自 2015 年以来的六个版本的总结，讨论了自我监督或无监督机器学习的最新进展，并重点介绍了声学单元发现，口语术语发现，离散重构和口语语言建模四项任务的相关度量标准和基准，促进了模型比较和累积性进展。

    Oct, 2022

  • 零资源语音挑战赛 2017

    本文介绍了一项新挑战，旨在从原始语音中发现子词和单词单位。该挑战旨在构建跨语言的系统，并适应新的讲话者，介绍了挑战的设计特点和评价指标，并讨论了十七个模型的结果。

    Dec, 2017

  • 零资源语音挑战赛 2021: 口语语言建模

    该研究提出了 Zero Resource Speech Challenge 2021 语音挑战赛，要求参与者直接从音频中学习语言模型，无需任何文本或标签，并提供了一种基于对比性预测编码器、量化器和标准语言模型的管道基线系统。

    Apr, 2021

  • 从文本学会说话：无监督文本预训练的零射多语言语音合成

    使用零样本学习和多语言语言模型，该研究提出了一种只使用目标语言文本数据进行多语言语音合成（TTS）的方法，其能够成功地为只有文本资源的低资源语言开发 TTS 系统，大大拓展了 TTS 的覆盖范围并能取得高度理解度。

    Jan, 2023

  • 2021 年零资源语音基准：自监督口语建模的度量和基线

    本文介绍了一项新的无监督任务：口语语言建模并给出了 Zero Resource Speech Benchmark 2021，使用 4 个黑盒子零炮弹指标对 4 个语言层面的学习模型的质量进行测量，包括语音、词汇、语法和语义，并基于 CPC、聚类和语言建模的三个无监督系统的复合基线的结果和分析。该语言建模基于聚类学习产生的伪文本，表明了从原始语音中建立口语语言建模的可行性，但这种简单管道与文本为基础的 “顶线” 系统相比，性能较差，需要使用更复杂的端到端模型来探索。

    Nov, 2020

  • 无监督文本转语音合成与无监督自动语音识别

    该论文提出了一种基于对齐模块输出伪文本和另一个合成模块使用伪文本进行训练和实际文本进行推断的无监督文本转语音综合系统，可以在每种语言的 10-20 小时语音中实现与监督系统相当的性能，并开展了对文本单元和声码器影响的研究。

    Mar, 2022

  • 无需语音识别的语音到文本翻译

    本文探讨语音转文本翻译的问题，使用无监督术语发现技术将音频文件转化为伪文本，并使用其进行简单的词袋机翻译，面对跨讲话者无监督术语发现的难题，系统实现了低召回率的跨语音翻译。

    Feb, 2017

  • 低资源多语言和零样本多说者 TTS

    在这项工作中，我们将零样本语音克隆和多语言低资源语音合成的任务结合在一起。通过使用语言不可知的元学习（LAML）程序和对 TTS 编码器的修改，我们证明了一个系统可以学习在只有 5 分钟的训练数据下说一个新语言，同时保留了推断新学习语言中甚至看不到的说话者声音的能力，并提供了开源的代码和训练模型。

    Oct, 2022

  • 基于自监督预训练声学模型的多语言零资源语音识别

    本文研究使用预训练模型来解决无监督语音识别中的音素和单词级别的问题。通过在 IPA 音素转写上微调预训练模型并使用语言模型进行解码，实验结果表明该方法可在某些语言上实现低于 20% 的单词错误率，8 种语言的平均错误率为 33.77%。

    Oct, 2022