Feb, 2021

用于语音识别和翻译的多语种 TEDx 语料库

PDF
TL;DR我们提供了一个多语言 TEDx 语料库，支持语音识别和语音翻译的研究，可以建立在许多非英语源语言上。这个语料库是一个来自 TEDx 演讲的音频记录集合，提供了 8 个源语言，我们将转录分割成句子，并将它们与源语言音频和目标语言翻译对齐。此外，我们提供基线模型，包括多语种模型，以提高低资源语种的翻译性能。
multilingual tedx corpusspeech recognitionspeech translationparallel evaluation setslow-resource language pairs
发现论文，激发创造
  • 使用法语翻译扩充 Librispeech：一种用于直接语音翻译评估的多模态语料库

    本文介绍了使用 LibriSpeech 增强现有单语语料库的方法，建立起一种包含源语言中的语音与目标语言中的文本的大型开放式平行语料库，并给出了相应的处理细节和手动评估结果，该平行语料库可以用于直接语音翻译或其他口语翻译实验。

    Feb, 2018

  • Europarl-ST：面向议会辩论的语音翻译多语种语料库

    本研究通过收集欧洲议会在 2008 年至 2012 年期间进行的演讲，创建了一个新型的包括 6 种欧洲语言互相翻译的语音和文本样本的多语种 SLT 语料库 Europarl-ST，并展示了一系列的语音识别、机器翻译和口语翻译实验。

    Nov, 2019

  • SpeechMatrix: 大规模挖掘的多语音言翻译语料库

    本文介绍了一个用于多语言演讲语音翻译研究的大规模多语言语音语料库 SpeechMatrix，并建立了基于演讲记录的平行语音翻译模型，探讨了少有的多语言语音翻译问题和一些基于模型先训练和混合专家使用的解决方案。

    Nov, 2022

  • MSR-86K：一个包含 86,300 小时语音转换文本的多语种演变语料库，用于语音识别研究

    该论文介绍了 MSR-86K，这是一个逐渐增长的大规模多语言语音识别研究语料库，由 YouTube 上公开可访问的视频转录数据组成，包括 15 种语言和总共 86300 小时的 ASR 数据。同时，该论文还介绍了如何使用 MSR-86K 语料库和其他开源语料库来训练一个与 Whisper 相媲美的强大的多语言语音识别模型。我们将在 HuggingFace 上公开发布 MSR-86K，相信这样一个大规模的语料库将为多语言语音识别的研究开辟新的道路。

    Jun, 2024

  • LibriVoxDeEn: 一个用于德语到英语语音翻译和德语语音识别的语料库

    该研究提供一个德语语音、德语文本和英语翻译的平行语料库，以德语有声读物为基础，包括 110 小时的音频材料，对齐了超过 50k 句平行句子，并且提供了更大的数据集，包括 547 小时的德语语音对齐了德语文本，同时为德语语音识别和德语到英语的端到端翻译提供了大量的资源。

    Oct, 2019

  • CVSS Corpus 和大规模多语言语音到语音翻译

    该论文介绍了一种名为 CVSS 的大规模多语言至英语语音翻译 (S2ST) 语料库，可以从 21 种语言中提取平行的语句级别的 S2ST 对，并用最先进的 TTS 系统将 CoVoST 2 的翻译文本合成语音。此外，研究构建了基线多语言直接 S2ST 模型和串联 S2ST 模型，并对该语料库的有效性进行了验证。

    Jan, 2022

  • TED-LIUM 3: 基于增加数据和语料库重新分配的说话人自适应实验

    本文介绍 TED-LIUM 发布的第三个语音识别数据集，主要是为了增加训练声学模型的可用数据，比 TED-LIUM 2 多出一倍以上的语料。研究表明，相比 2012 年和 2014 年发布的数据集，通过提高训练数据量，对于端到端的 ASR 系统更为有效。同时，本文还提出了根据说话人自适应进行实验的两组 TED-LIUM release 3 corpus 数据分配计划，并且将其免费提供给研究社区。

    May, 2018

  • CoVoST: 一个多样化的多语种语音到文本翻译语料库

    本文介绍了 CoVoST—— 一个多语言的语音 - 文本翻译语料库，并提供了详细的数据集创建方法、数据质量实证和多语言翻译模型的前期实验成果。

    Feb, 2020

  • MuAViC: 一个用于稳健语音识别和文本翻译的多语言音视频语料库

    MuAViC 是首个开放的多语言视听数据集，共提供了 1200 小时覆盖 9 种语言的视听数据，可应用于嘈杂环境下的语音识别和翻译模型构建。

    Mar, 2023

  • 从配音系列中创建语音到语音语料库

    本研究提出了一种无监督方法来构建语音到语音语料库，并利用视频帧、语音识别、机器翻译和噪声帧去除算法在短片段层面上对齐源语言和目标语言，以生成一种平行语音语料库，并应用于短音频片段和长音频剪辑，效果表现稳健。

    Mar, 2022