Oct, 2023

SPRING-INX: 由印度马德拉斯理工学院 SPRING Lab 创建的多语言印度语音语料库

PDF
TL;DR印度拥有多种语言，其中有 22 种语言被印度宪法正式认可。为印度人口构建基于语音的应用程序是一个困难的问题，因为数据有限且需要适应不同的语言和口音。为了鼓励语言技术社区在印度语言中构建基于语音的应用程序，我们向开源社区提供了 SPRING-INX 数据，其中包括 2000 小时的合法获取和手动转录的语音数据，用于搭建 ASR 系统。这个努力是由印度理工学院马德拉斯分校的 SPRING 实验室和由印度电子与信息技术部（MeitY）资助的全国语种翻译计划的一部分。本文介绍了数据收集和数据清洗的过程，并提供了数据统计。
发现论文，激发创造
  • IndicVoices：为印度语言构建一个包容性的多语言语音数据集

    我们提供了 INDICVOICES 数据集，该数据集包含来自 16237 名发言人的 7348 小时自然和自发的语音，涵盖了 145 个印度地区和 22 种语言。通过本文，我们分享了捕捉印度文化、语言和人口多样性的旅程，为数据收集提供了标准化协议、集中工具、引人入胜的问题、提示和对话场景库，以及质量控制机制和全面的转录指南。我们希望这一开源蓝图能够成为其他多语言地区数据收集工作的全面入门指南。利用 INDICVOICES，我们构建了 IndicASR，这是第一个支持印度宪法第八版中列出的 22 种语言的 ASR 模型。本研究的所有数据、工具、指南、模型和其他资料都将公开提供。

    Mar, 2024

  • 用于语音识别和翻译的多语种 TEDx 语料库

    我们提供了一个多语言 TEDx 语料库，支持语音识别和语音翻译的研究，可以建立在许多非英语源语言上。这个语料库是一个来自 TEDx 演讲的音频记录集合，提供了 8 个源语言，我们将转录分割成句子，并将它们与源语言音频和目标语言翻译对齐。此外，我们提供基线模型，包括多语种模型，以提高低资源语种的翻译性能。

    Feb, 2021

  • 为印度语言建立一个多语言平行语料收集的努力

    通过基于深度学习的方法使用机器翻译和跨语言检索工具，我们提供了涵盖 10 种印度语言的句子对齐平行语料库，包括低资源语言，此外还提供了独立测试语料库用于验证 10 种印度语言的性能。

    Jul, 2020

  • IndicIRSuite：印度语言的多语种数据集和神经信息模型

    该论文介绍了为 11 种广泛使用的印度语言（阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥利亚语、旁遮普语、泰米尔语和特鲁古语）引入神经信息检索资源的工作。这些资源包括使用机器翻译创建的 11 种印度语言版本的 MSMARCO 数据集（称为 INDIC-MARCO）以及 11 种不同的单语神经信息检索模型集合（称为 Indic-ColBERT），每个模型都在 INDIC-MARCO 数据集中的一种语言上进行训练。IndicIRSuite 是为大量印度语言构建大规模神经信息检索资源的首次尝试，我们希望它能加速印度语言神经信息检索的研究。实验证明，与 INDIC-MARCO 基线相比，Indic-ColBERT 在除奥利亚语外的所有 11 种印度语言上的 MRR@10 得分平均改进了 47.47%，在 MIRACL 孟加拉语和印地语基线上的 NDCG@10 得分平均改进了 12.26%，在 Mr.Tydi 孟加拉语基线上的 MRR@100 得分改进了 20%。IndicIRSuite 可以在此 https URL 上获取。

    Dec, 2023

  • PMIndia -- 印度语言平行语料库集合

    本研究提供了一个新的公开平行语料库（PMIndia），其中包含 13 种主要印度语言和英语的成对平行句子，每种语言对包含高达 56000 个句子。该语料库的构建及两种不同自动句子对齐方法的评估被描述，同时还介绍了该语料库在 NMT 方面的一些初步结果。

    Jan, 2020

  • IMaSC -- ICFOSS 马拉雅拉姆语音语料库

    本论文介绍了 IMaSC，一个包含约 50 个小时录音的马拉雅拉姆文本和语音语料库，演示使用该数据集对每位演讲者训练的 TTS 模型较以前的研究和公开可用模型表现更好，平均意见分数为 4.50。

    Nov, 2022

  • 印度低资源语言的带注释语音语料库：Awadhi、Bhojpuri、Braj 和 Magahi

    本文介绍我们正在进行的工作，使用语言学数据收集的领域方法，为四种资源匮乏的印度 - 雅利安语言 —— 阿瓦德语、博杰普尔语、布拉杰语和马加希语开发语音语料库。我们还讨论了这些语言的数据收集方法，大部分是在 COVID-19 疫情期间进行的，目的之一是为讲这些语言的低收入群体提供额外的收入来源，并讨论了这些语言的自动语音识别系统的基线实验结果。

    Jun, 2022

  • IndicTrans2：适用于所有 22 个印度预定语言的高质量可访问机器翻译模型

    该研究旨在通过整合并创建特定于印度的并行语料库和基准测试数据，训练出支持所有 22 种印度语言的机器翻译模型，为印度的语言多样性提供广泛且易于访问的机器翻译系统，该研究创造性地提出了四个关键领域的改进，并发布了 BPCC 和 IndicTrans2 等数据资源和模型。

    May, 2023

  • MuRIL：印度语言的多语言表示

    MuRIL 是一种专为印度语言建立的多语言语言模型， 使用翻译和音译文档对增加跨语言信号在训练期间，在多项任务中表现优异，尤其针对拉丁转写的数据具有很高的处理效能。

    Mar, 2021

  • IndicXNLI: 评估印度语言的多语言推理

    本文介绍了 IndicXNLI，一个 NLI 数据集，用于 11 种印度语言的跨语言转移技术的分析，研究了不同的预训练模型、语言、多语言和混合语言输入等因素对预训练模型的行为的影响。

    Apr, 2022