May, 2022

Aksharantar: 为未来十亿用户构建开放的音译工具

PDF
TL;DR本文介绍了 Aksharantar，它是 21 种印度语言中最大的公开可用的音译数据集，包含 2600 万个音译对。我们使用从大型单语和平行语料库中挖掘音译对，并采集人工注释以确保具有不同单词和低资源语言的多样性。我们在 Aksharantar 训练集上训练了 IndicXlit 模型，它是一种单一的基于 transformer 的多语言音译模型，支持 21 种印度语言。它在 Dakshina 测试集上取得了最先进的结果，并在与此工作一起发布的 Aksharantar 测试集上建立了强大的基线。
发现论文，激发创造
  • MATra：一种印度文字跨语言注意力音译系统

    本文展示了一种基于 transformer 网络结构并在其基础上做出改进的多语言模型，可用于跨越英语、印地语、孟加拉语、卡纳达语和泰米尔语的任意一对语言之间进行 Transliteration，同时在精度方面显著优于所有现有模型，在 Top-1 精度得分方面高达 80.7％，比最好的结果提高了 29.5％，并在语音准确性方面达到了 93.5％。

    Aug, 2022

  • Samanantar: 11 种印度语言最大的公开并行语料库收集

    介绍了 Samanantar，这是最大的公共平行语料库集合，包括英语和 11 种印度语言之间的 49.7 百万句子对，同时提取自公共平行语料库和网络，并在 Samanantar 上训练多语种 NMT 模型，从而在公开可用的基准测试上优于现有模型和基准线，希望能够推进印度语言的 NMT 和多语种 NLP 研究。

    Apr, 2021

  • IndicTrans2：适用于所有 22 个印度预定语言的高质量可访问机器翻译模型

    该研究旨在通过整合并创建特定于印度的并行语料库和基准测试数据，训练出支持所有 22 种印度语言的机器翻译模型，为印度的语言多样性提供广泛且易于访问的机器翻译系统，该研究创造性地提出了四个关键领域的改进，并发布了 BPCC 和 IndicTrans2 等数据资源和模型。

    May, 2023

  • 使用拉丁字母编写的南亚语言处理：Dakshina 数据集

    该论文介绍了 Dakshina 数据集，包含 12 种南亚语言的拉丁文和本地脚本文本、罗马化词典和全句平行数据，并提供了基于该数据集的单词音译、全句音译和语言建模的基线结果。

    Jul, 2020

  • IndicIRSuite：印度语言的多语种数据集和神经信息模型

    该论文介绍了为 11 种广泛使用的印度语言（阿萨姆语、孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、奥利亚语、旁遮普语、泰米尔语和特鲁古语）引入神经信息检索资源的工作。这些资源包括使用机器翻译创建的 11 种印度语言版本的 MSMARCO 数据集（称为 INDIC-MARCO）以及 11 种不同的单语神经信息检索模型集合（称为 Indic-ColBERT），每个模型都在 INDIC-MARCO 数据集中的一种语言上进行训练。IndicIRSuite 是为大量印度语言构建大规模神经信息检索资源的首次尝试，我们希望它能加速印度语言神经信息检索的研究。实验证明，与 INDIC-MARCO 基线相比，Indic-ColBERT 在除奥利亚语外的所有 11 种印度语言上的 MRR@10 得分平均改进了 47.47%，在 MIRACL 孟加拉语和印地语基线上的 NDCG@10 得分平均改进了 12.26%，在 Mr.Tydi 孟加拉语基线上的 MRR@100 得分改进了 20%。IndicIRSuite 可以在此 https URL 上获取。

    Dec, 2023

  • Vakyansh: 适用于资源稀缺的印度语言的 ASR 工具包

    Vakyansh 是一个 Indic 语言语音识别端到端工具包，通过自动数据流水线实现数据创​​建，训练和部署，提供了适应于 18 种 Indic 语言的最先进的语音识别模型，并开放了所有这些资源来支持语音开发者社区。

    Mar, 2022

  • ISLTranslate：印度手语翻译数据集

    ISLTranslate is introduced as the largest translation dataset for continuous Indian Sign Language, consisting of 31k ISL-English sentence/phrase pairs, which is benchmarked against a transformer-based model for ISL translation.

    Jul, 2023

  • 突破语言障碍：一个用于印地语和马拉地语的问答数据集

    该研究关注于为印地语和马拉地语开发一个问题回答数据集，通过将 SQuAD 2.0 数据集翻译成这两种语言，以解决数据稀缺的挑战，并发布了最大规模的问题回答数据集，同时提供了在这两种语言中表现最佳的模型，从而促进了进一步的研究。

    Aug, 2023

  • IndicLLMSuite：针对印度语言创建预训练和微调数据集的蓝图

    通过引入针对 Indic LLMs 开发的广泛资源套件，包括 22 种语言，总共有 251 亿词汇和 7480 万指令 - 响应对，我们的工作旨在弥合其他语言的类似模型建设进展受限于资源稀缺的差距。我们的方法结合了高度策划的手动验证数据、有价值但未验证的数据和合成数据，建立了一个干净的开源流水线，用于从各种来源收集预训练数据，并采用最佳实践进行爬取、清理、标记和去重。我们还通过生成多种情景的有毒提示来解决毒性对齐问题，并通过将这些有毒提示输入到经过校对的 LLaMa2 模型中生成非有毒响应。我们希望本工作释放的数据、工具和资源不仅能推动 Indic LLMs 的研究和开发，还能为将这种努力扩展到其他语言建立一个开源蓝图。作为本工作的一部分，创建的数据和其他文物都以宽松的许可证发布。

    Mar, 2024

  • IndicXTREME：用于评估印度语言的多任务基准

    本文介绍了 IndicXTREME，一个由 9 个不同任务组成的基准测试，包括来自印度次大陆、属于 4 个不同语系的 18 种语言。我们更新和扩展了 IndicCorp，提供了 IndicBERT v2，并证明了它优于现有的多语言语言模型，如 XLM-R 和 MuRIL。

    Dec, 2022