Oct, 2022

简单有效的无监督语音翻译

HTML
PDF
TL;DR本文利用无监督语音识别、机器翻译与语音合成技术，探讨实现无标注数据建立语音翻译系统的方法，通过管道方法或生成伪标签，对端到端语音翻译模型进行训练。同时，提出一种无监督域自适应方法，能够提供一定的性能提升。实验结果表明，本文提出的无监督语音翻译方法，在Libri-Trans基准测试的BLEU分数上超过以前报告的无监督效果的3.2个点，在CoVoST2数据集上，本文的最佳系统相对于最佳监督学习的端到端模型（无预训练），在五个语种（X-En）上平均提高5.0个BLEU分数。在MuST-C和CVSS基准测试上，本文也取得了有竞争力的结果。
发现论文，激发创造
  • 无监督的可解释解缩表示学习用于远程对话语音识别适应

    该论文提出了一种新颖的无监督自适应方法，通过学习利用目标领域的无标签数据和标记的领域外数据，合成标记数据，从而解决自然语言处理中对于各种语言和领域进行自然语言处理的需求。

    Jun, 2018

  • 无监督语音文本翻译

    本文提出了一种基于单语音频和文本语料库的语音翻译系统框架，使用交叉模态双语词典将每个源语音片段对应到目标文本翻译，通过使用语言模型和序列去噪自编码器，对每个音频片段进行逐字翻译来提高翻译质量，实验结果表明，我们的无监督系统尽管没有监督，但达到了与监督方法相比可比的BLEU分数。

    Nov, 2018

  • 利用弱监督数据提高端到端的语音到文本翻译

    本文探讨了使用预训练的机器翻译或文本到语音合成模型将弱监督数据转化为语音到翻译对对于ST的训练比多任务学习效果更好的问题，展示了只使用弱监督数据即可以获得高质量的终到端ST模型，并讨论了避免模型对合成的语音过度拟合的方法。

    Nov, 2018

  • 语音翻译的大规模自监督和半监督学习

    通过利用大量未标记的语音和文本数据（包括Libri-Light语音音频语料库和CommonCrawl语言建模）的预训练和自我训练，我们的实验结果表明，在不利用监督学习数据的前提下，通过wav2vec 2.0预训练、自我训练和配合语言模型的方法，能够使所有四个CoVoST 2语言对的 BLEU 平均值提高2.6。代码和模型将公开发布。

    Apr, 2021

  • SLAM: 通过语音-文本联合预训练实现语音和语言建模的统一编码器

    将无监督预训练应用于语言理解，在语音和文本之间建立单一模型，包括BERT目标和w2v-BERT目标以及其他预训练技术改进，同时在GLUE任务中也取得了不俗的竞争力。

    Oct, 2021

  • 利用无监督和弱监督数据，提高直接语音翻译的准确性

    本文旨在通过多种方法利用无监督和弱监督的语音和文本数据来提高基于Translatotron 2的直接语音到语音翻译系统的性能，实现在21种语言对上BLEU值提高13.6（相对增长113%），特别是对于低资源语言的提高更为显著（相对增长398%）

    Mar, 2022

  • 简单有效的无监督语音合成

    利用未标记语音音频、未标记文本和词典，我们引入了第一个基于简单而有效的配方的无监督语音合成系统。实验结果表明，该无监督系统在自然度和可理解度方面与监督训练的同类系统基本相同。

    Apr, 2022

  • 面向低资源语言的数据高效语音合成无监督预训练

    本文提出了一种基于无监督预训练的神经文本朗读生成模型, 通过学习Warped Mel-Spectrogram的重构来优化时序关系，进一步提高数据利用效率，在低资源语言情境下实现了显著的性能提升。

    Mar, 2023

  • 使用去噪反向翻译提升级联无监督语音翻译

    我们提出了一种基于叠层系统的语音翻译方法，使用全非配对数据训练了我们的无监督系统，并采用去噪回译法提高翻译结果。研究结果显示，我们的方法可以有效解决低资源语言数据难以获取的问题，并在某些语言对上表现出可比较的效果。

    May, 2023

  • 基于单元的无平行数据语音翻译

    本文提出了一种基于自动发现独立单元的无监督语音到语音翻译系统，使用三步训练过程，避免使用自动语音识别和文本转语音模型，在合成语音上的实验结果表明该方法可行。

    May, 2023