Jan, 2020

PMIndia -- 印度语言平行语料库集合

PDF
TL;DR本研究提供了一个新的公开平行语料库（PMIndia），其中包含 13 种主要印度语言和英语的成对平行句子，每种语言对包含高达 56000 个句子。该语料库的构建及两种不同自动句子对齐方法的评估被描述，同时还介绍了该语料库在 NMT 方面的一些初步结果。
parallel textmachine translationmt systemssouth asian languagescorpus
发现论文，激发创造
  • 为印度语言建立一个多语言平行语料收集的努力

    通过基于深度学习的方法使用机器翻译和跨语言检索工具，我们提供了涵盖 10 种印度语言的句子对齐平行语料库，包括低资源语言，此外还提供了独立测试语料库用于验证 10 种印度语言的性能。

    Jul, 2020

  • 构建东北印度极低资源语言机器翻译平行语料的首次尝试

    该论文介绍了为印度东北地区的十三种资源非常匮乏的语言创建初始的双语语料库，同时提供了这些语言的初始翻译结果。该论文还创建了这些语言的首个平行语料库，并提供了关于这些语言的基准神经机器翻译结果。我们打算将这些语料库扩展到包括大量资源匮乏的印度语言，并结合我们之前在非洲和美洲印第安语言方面的工作，创建覆盖世界各地大量语言的语料库。

    Dec, 2023

  • PMIndiaSum: 面向印度的多语和跨语言头条摘要

    本文介绍了 PMIndiaSum，一个针对印度语言的多语言和大规模并行的标题摘要语料库，并为单语、跨语言和多语言摘要提供了基准和数据测试。

    May, 2023

  • Samanantar: 11 种印度语言最大的公开并行语料库收集

    介绍了 Samanantar，这是最大的公共平行语料库集合，包括英语和 11 种印度语言之间的 49.7 百万句子对，同时提取自公共平行语料库和网络，并在 Samanantar 上训练多语种 NMT 模型，从而在公开可用的基准测试上优于现有模型和基准线，希望能够推进印度语言的 NMT 和多语种 NLP 研究。

    Apr, 2021

  • 孟买印度理工学院英汉平行语料库

    本文介绍了 IIT Bombay 英印双语平行语料库，包含超过 140 万个平行句段，其中有 69.4k 个句段从未公开发布，是目前公开发布的最大的英印平行语料库之一，并已被用于机器翻译的基准测试和分享任务。此语料库可供非商业研究免费使用。

    Oct, 2017

  • 机器翻译中印度语言的低资源状态再探讨

    本文提供并分析了一个用于印度语神经机器翻译系统的大规模多语言句子对齐语料库和强大基准的自动化框架，其中包括基线 NMT 系统，检索模块和用于公共网站的对齐模块，通过迭代增加语料库来改进系统。我们的工作还评估了设计选择，例如枢轴语言的选择和迭代式增量语料库增加的影响。与现有的印度语语料库相比，本工作不仅提供了自动化框架，还产生了一个相对较大的语料库。这个语料库使我们能够在公开的 WAT 评估基准和其他标准评估基准上获得明显改善的结果。

    Aug, 2020

  • IndicTrans2：适用于所有 22 个印度预定语言的高质量可访问机器翻译模型

    该研究旨在通过整合并创建特定于印度的并行语料库和基准测试数据，训练出支持所有 22 种印度语言的机器翻译模型，为印度的语言多样性提供广泛且易于访问的机器翻译系统，该研究创造性地提出了四个关键领域的改进，并发布了 BPCC 和 IndicTrans2 等数据资源和模型。

    May, 2023

  • PHINC: 一个面向机器翻译的平行 Hinglish 社交媒体混合语料库

    本文介绍了一个包含 13,738 个混合使用英语和印地语的句子及其相应英文翻译的平行语料库，并释放这个语料库以方便未来对混合语言机器翻译的研究机会

    Apr, 2020

  • EthioMT：适用于低资源埃塞俄比亚语言的平行语料库

    自然语言处理在机器翻译、新闻分类和问答等高资源语种的任务上取得了显著的性能，但对于低资源语种的机器翻译仍有待改善。本文介绍了 EthioMT，一个包含 15 种语言的新的平行语料库，同时收集了一份更为研究充分的语言在埃塞俄比亚的基准数据集，通过使用变压器和微调方法对 23 种埃塞俄比亚语言的新收集语料和基准数据集进行评估。

    Mar, 2024

  • SAHAAYAK 2023 - 梵文到印地语的多领域双语平行语料库，用于机器翻译

    本文介绍了一个名为 SAHAAYAK 2023 的低资源语言 Sanskrit-Hindi 的大型双语平行语料库，包括新闻，日常对话，政治，历史，体育和古印度文学的多个领域，以及通过挖掘，清洗和验证而得到的多方面的方法制作的一个规模可观的多领域语料库，并应用于机器翻译算法。

    Jun, 2023