本研究提供了一个新的公开平行语料库（PMIndia），其中包含 13 种主要印度语言和英语的成对平行句子，每种语言对包含高达 56000 个句子。该语料库的构建及两种不同自动句子对齐方法的评估被描述，同时还介绍了该语料库在 NMT 方面的一些初步结果。

Jan, 2020

本文介绍了 IIT Bombay 英印双语平行语料库，包含超过 140 万个平行句段，其中有 69.4k 个句段从未公开发布，是目前公开发布的最大的英印平行语料库之一，并已被用于机器翻译的基准测试和分享任务。此语料库可供非商业研究免费使用。

Oct, 2017

通过基于深度学习的方法使用机器翻译和跨语言检索工具，我们提供了涵盖 10 种印度语言的句子对齐平行语料库，包括低资源语言，此外还提供了独立测试语料库用于验证 10 种印度语言的性能。

Jul, 2020

本文介绍了 Aksharantar，它是 21 种印度语言中最大的公开可用的音译数据集，包含 2600 万个音译对。我们使用从大型单语和平行语料库中挖掘音译对，并采集人工注释以确保具有不同单词和低资源语言的多样性。我们在 Aksharantar 训练集上训练了 IndicXlit 模型，它是一种单一的基于 transformer 的多语言音译模型，支持 21 种印度语言。它在 Dakshina 测试集上取得了最先进的结果，并在与此工作一起发布的 Aksharantar 测试集上建立了强大的基线。

May, 2022

本文介绍了采集自文学杰作的超过一百万句子对的最大波斯语 - 英语平行语料库，包括其获取过程和统计信息，并使用该语料库对基础统计机器翻译系统进行实验。

Jan, 2018

本文介绍了一个新的基于网络的英日平行语料库 JParaCrawl v3.0，其包括超过 2100 万个独特的平行句对，证明它可以提高各种领域机器翻译模型的准确性，并将在将来公开发布。

Feb, 2022

我们介绍了 KazParC，这是一个用于哈萨克语、英语、俄语和土耳其语机器翻译的并行语料库。KazParC 是首个也是最大的公开可用语料库，包含 371,902 个不同领域的平行句子，是通过人工翻译帮助开发的。我们的研究还延伸到了开发一种名为 Tilmash 的神经机器翻译模型。令人惊讶的是，Tilmash 在某些情况下的性能达到或超过了行业巨头，例如 Google Translate 和 Yandex Translate，由标准评估指标（如 BLEU 和 chrF）衡量。KazParC 和 Tilmash 都可在我们的 GitHub 仓库上以 Creative Commons Attribution 4.0 国际许可证（CC BY 4.0）进行下载。

Mar, 2024

使用 Samanantar 平行语料库中英语句子与印度语句子自动对齐的方式，构建了涵盖 11 种不同印度语言的最大的 NER 数据集 Naamapadam, 包含超过 400k 条句子，涵盖 9 种语言的 3 种标准实体类别（人物、地点和组织），并在其中手动标注了 8 种语言的约 1000 个句子的测试数据。在该数据集上 fine-tuned 的 IndicNER 多语言 mBERT 模型在 8 种语言上的 F1 得分均超过 80，是现有数据集的最佳表现。数据集和模型已在 https URL 上以开源许可证发布。

Dec, 2022

使用神经机器翻译系统，通过 beam search 生成多个候选翻译样本，选择词汇最多样化的一对生成句式相似，语义丰富、跨 17 种语言的人工合成平行释义语料库，并用 BLEU 对比了其与 ParaBank2，结果表明其生成的句子语义类似而且词汇丰富度较高。

May, 2022

使用双向方法从英语和波斯文档的维基百科中提取平行句子，使用机器翻译系统将波斯文翻译成英文，反之亦然，然后使用 IR 系统测量翻译后句子的相似度，并将提取的句子加入现有 SMT 系统的训练数据，以改善翻译质量。提出的方法略优于单向方法。提取的语料库包含约 200,000 个句子，已按其相似度由 IR 系统计算排序，并可在 Web 上免费访问。

Nov, 2017