本研究提供了一个新的公开平行语料库（PMIndia），其中包含 13 种主要印度语言和英语的成对平行句子，每种语言对包含高达 56000 个句子。该语料库的构建及两种不同自动句子对齐方法的评估被描述，同时还介绍了该语料库在 NMT 方面的一些初步结果。

Jan, 2020

通过基于深度学习的方法使用机器翻译和跨语言检索工具，我们提供了涵盖 10 种印度语言的句子对齐平行语料库，包括低资源语言，此外还提供了独立测试语料库用于验证 10 种印度语言的性能。

Jul, 2020

介绍了 Samanantar，这是最大的公共平行语料库集合，包括英语和 11 种印度语言之间的 49.7 百万句子对，同时提取自公共平行语料库和网络，并在 Samanantar 上训练多语种 NMT 模型，从而在公开可用的基准测试上优于现有模型和基准线，希望能够推进印度语言的 NMT 和多语种 NLP 研究。

Apr, 2021

本文介绍了采集自文学杰作的超过一百万句子对的最大波斯语 - 英语平行语料库，包括其获取过程和统计信息，并使用该语料库对基础统计机器翻译系统进行实验。

Jan, 2018

本文介绍了一个新的基于网络的英日平行语料库 JParaCrawl v3.0，其包括超过 2100 万个独特的平行句对，证明它可以提高各种领域机器翻译模型的准确性，并将在将来公开发布。

Feb, 2022

使用双向方法从英语和波斯文档的维基百科中提取平行句子，使用机器翻译系统将波斯文翻译成英文，反之亦然，然后使用 IR 系统测量翻译后句子的相似度，并将提取的句子加入现有 SMT 系统的训练数据，以改善翻译质量。提出的方法略优于单向方法。提取的语料库包含约 200,000 个句子，已按其相似度由 IR 系统计算排序，并可在 Web 上免费访问。

Nov, 2017

我们提出了 hinglishNorm - 一组人类注释的印地语 - 英语混合句子的语料库，用于文本规范化任务，并在该语料库上展示了基线规范化结果。

Oct, 2020

该论文介绍了为印度东北地区的十三种资源非常匮乏的语言创建初始的双语语料库，同时提供了这些语言的初始翻译结果。该论文还创建了这些语言的首个平行语料库，并提供了关于这些语言的基准神经机器翻译结果。我们打算将这些语料库扩展到包括大量资源匮乏的印度语言，并结合我们之前在非洲和美洲印第安语言方面的工作，创建覆盖世界各地大量语言的语料库。

Dec, 2023

本文介绍了一个新的 Czech-English 双语平行语料库 CzEng 2.0，其中包含超过 20 亿个单词，包含文档级信息，并使用多种技术进行了过滤以降低噪声量，此外还包含新的真实和高质量的合成平行数据。CzEng 可供研究和教育目的免费使用。

Jul, 2020

本文介绍了一个名为 SAHAAYAK 2023 的低资源语言 Sanskrit-Hindi 的大型双语平行语料库，包括新闻，日常对话，政治，历史，体育和古印度文学的多个领域，以及通过挖掘，清洗和验证而得到的多方面的方法制作的一个规模可观的多领域语料库，并应用于机器翻译算法。

Jun, 2023