Feb, 2018

有声读物端到端自动语音翻译

PDF
TL;DR本研究旨在探讨在经过语料库特殊增强的情况下，对语音到文本翻译进行端到端的研究。我们不仅研究了在学习和解码期间没有源语言转录的极端情况，还研究了在训练时仅提供源语言转录的中间情况。实验结果表明，在这种设置下，可以训练出紧凑高效的端到端语音转换模型。同时，我们提供了语料库，并希望未来的研究能够挑战我们在该语料库上的语音翻译基线模型。
speech-to-text translationcorpus augmentationsource language transcriptiontrainingend-to-end model
发现论文，激发创造
  • 基于端到端的语音转文本翻译的比较研究

    本文介绍了深度学习在语音到文本翻译领域的应用，主要研究了不同端到端架构以及辅助性连接主义时间分类（CTC）损失函数的使用，着重探讨了预训练模型对最终性能的影响，实验证明预训练模型可以使 BLEU 指标提高 4％，TER 指标提高 5％，并且在 270 小时 IWSLT TED 演讲 En->De 和 100 小时 LibriSpeech Audiobooks En->Fr 上的实验结果表明，该方法可以超过当前的端到端最先进系统。

    Nov, 2019

  • 听写翻译：端到端语音转文本翻译的概念验证

    本文是第一篇尝试构建不使用源语言转录的端到端语音到文本翻译系统的论文，并提出了一种直接语音到文本翻译的模型，在一小部分法英人造语料库上取得了有希望的结果。

    Dec, 2016

  • 探索迁移学习用于端到端语音理解

    本文提出了一种多任务联合训练的端到端语音理解模型 “Audio-Text All-Task (AT-AT) Model”，该模型能够同时训练语音转文字、语音理解和文本理解任务，不仅可以在多个数据集上实现最优性能，还可用于零 - shot 端到端语音理解任务。

    Dec, 2020

  • 跨语言迁移学习的低资源语言端到端文本转语音

    本文针对低资源语言语音合成任务，提出了从高资源语言中迁移知识的方法，并通过学习源与目标语言之间的语言符号映射，有效地构建了 TTS 系统，初步实验表明，只需要约 15 分钟的成对数据即可获得相对良好的 TTS 系统。

    Apr, 2019

  • 端到端语音到文本翻译：综述

    语音到文本翻译中的端到端模型的综述，包括模型、评估指标和数据集，提供了挑战和未来研究方向的新见解。

    Dec, 2023

  • LibriS2S: 一份德英语音到语音翻译语料库

    该研究找出了语音到语音翻译领域所面临的主要限制是缺乏合适的培训数据。为了解决这个问题，研究人员创建了一个公开可用的语音到语音训练语料库 ——LibriS2S。基于这个语料库，提出了基于 FastSpeech 2 模型的新文本到语音模型，以及如何使模型直接根据源语言的发音来生成语音信号。

    Apr, 2022

  • 语音的一致转录和翻译

    本研究探索了一种同时实现语音转写和翻译的方法，并比较了传统串联式方法和端到端模型的表现。研究发现，直接模型不适用于这一任务，但采用耦合推理过程的端到端模型能够实现强一致性。此外，研究还引入了直接优化一致性的简单技术，并分析了一致性、转写准确性和翻译准确性之间的权衡。

    Jul, 2020

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 基于序列到序列模型的直接语音到语音翻译

    该研究提出了一种基于注意力机制的端到端学习的序列到序列神经网络，能够直接将一种语言的语音翻译成另一种语言的语音，无需中间文本表示，该方法通过学习将语音谱图映射到目标语言的谱图，同时也演示了译后语音合成的能力。研究在两个西班牙语到英语的语音翻译数据集上进行了实验，证明了该方法在这个极具挑战的任务上的可行性。

    Apr, 2019

  • 使用声学单元的直接文本转语音翻译系统

    本研究提出了一种使用离散声学单元的直接文本到语音翻译系统，该系统能够将不同源语言的文本作为输入，生成目标语言的语音，无需该语言的文本转录。通过使用语音编码器与聚类算法相结合来提取声学单元，利用先前工作中在直接语音到语音翻译系统中成功运用的声学单元，构建了该框架。通过训练编码器 - 解码器架构来预测声学单元，然后使用声码器从单元生成语音。我们在新的 CVSS 语料库上测试了直接文本到语音翻译的方法，使用了两个不同的初始模型（mBART）。所提出的系统在大多数评估的语言对上表现出竞争性能。此外，结果显示，使用预先训练了更多语言的模型初始化我们提出的架构，能够取得显著的改进。

    Sep, 2023