Mar, 2024

KazParC: 机器翻译用的哈萨克平行语料库

PDF
TL;DR我们介绍了 KazParC，这是一个用于哈萨克语、英语、俄语和土耳其语机器翻译的并行语料库。KazParC 是首个也是最大的公开可用语料库，包含 371,902 个不同领域的平行句子，是通过人工翻译帮助开发的。我们的研究还延伸到了开发一种名为 Tilmash 的神经机器翻译模型。令人惊讶的是，Tilmash 在某些情况下的性能达到或超过了行业巨头，例如 Google Translate 和 Yandex Translate，由标准评估指标（如 BLEU 和 chrF）衡量。KazParC 和 Tilmash 都可在我们的 GitHub 仓库上以 Creative Commons Attribution 4.0 国际许可证（CC BY 4.0）进行下载。
kazparcparallel corpusmachine translationneural machine translation modeltilmash
发现论文，激发创造
  • MIZAN：波斯語 - 英語大型平行語料庫

    本文介绍了采集自文学杰作的超过一百万句子对的最大波斯语 - 英语平行语料库，包括其获取过程和统计信息，并使用该语料库对基础统计机器翻译系统进行实验。

    Jan, 2018

  • JParaCrawl v3.0：大规模英日平行语料库

    本文介绍了一个新的基于网络的英日平行语料库 JParaCrawl v3.0，其包括超过 2100 万个独特的平行句对，证明它可以提高各种领域机器翻译模型的准确性，并将在将来公开发布。

    Feb, 2022

  • 从可比语料库中提取英波斯平行语料库

    使用双向方法从英语和波斯文档的维基百科中提取平行句子，使用机器翻译系统将波斯文翻译成英文，反之亦然，然后使用 IR 系统测量翻译后句子的相似度，并将提取的句子加入现有 SMT 系统的训练数据，以改善翻译质量。提出的方法略优于单向方法。提取的语料库包含约 200,000 个句子，已按其相似度由 IR 系统计算排序，并可在 Web 上免费访问。

    Nov, 2017

  • JParaCrawl：大规模基于 Web 的英日平行语料库

    本文介绍了构建并通过相关实验验证了英日平行语料库 JParaCrawl 的优越性以及使用其进行预训练和微调的方法，该方法在特定领域上可达到实例训练模型的水平并缩短训练时间。

    Nov, 2019

  • ParaCotta: 来自最具多样性的翻译样本对的合成多语言释义语料库

    使用神经机器翻译系统，通过 beam search 生成多个候选翻译样本，选择词汇最多样化的一对生成句式相似，语义丰富、跨 17 种语言的人工合成平行释义语料库，并用 BLEU 对比了其与 ParaBank2，结果表明其生成的句子语义类似而且词汇丰富度较高。

    May, 2022

  • KazakhTTS2：扩充开源哈萨克语 TTS 语料库，更多数据，讲话人和主题

    本研究介绍了 KazakhTTS2 语料库的构建过程，并提供了 TTS 系统的训练和评估细节。本语料库足以为 Kazakh 和其他 Turkic 语言的语音和语言研究提供帮助，其公开可用于构建高质量的 TTS 系统。

    Jan, 2022

  • 利用众包进行网络挖掘的日中平行语料库

    使用众包的方法，我们从包含平行文档的双语网站收集了超过 10,000 个 URL 对（平行顶级页面对），并从这些网站创建了一个包含 4.6M 个句对的日语 - 中文平行语料库。我们使用了一个包含 160K 个词对的日语 - 中文双语词典进行文档和句子对齐。随后，我们使用 1.2M 条高质量的日语 - 中文句对训练了一个基于统计语言模型和词汇翻译概率的平行语料库过滤器。我们将在这 4.6M 个句对上训练的模型的翻译准确度与在全球网络挖掘的平行语料库 CCMatrix（12.4M）上训练的模型的准确度进行了比较。尽管我们的语料库只有 CCMatrix 的三分之一大小，但我们发现这两个模型的准确度相当，证实了使用众包进行平行数据的网络挖掘是可行的。

    May, 2024

  • Milimili. 通过众包收集平行数据

    通过众包的方法，我们提供了一种收集平行语料库的方法，尽管牺牲了质量，但它比雇佣专业翻译人员更具成本效益。此外，我们还提供了收集的车臣语 - 俄语和富拉语 - 英语语言对的实验性平行数据。

    Jul, 2023

  • 商务对话语料库设计

    本文旨在通过引入一个新构建的日英商务会话平行语料库，提高会话文本的机器翻译质量，并分析了该语料库，列举了自动翻译的具有挑战性的实例。同时，本文还试图将语料库添加到机器翻译训练中，并展示了基于该语料库训练的系统的优势。

    Aug, 2020

  • 双语语料库挖掘和多阶段微调以提升讲座文稿机器翻译

    展示了一种利用公开的课程资料进行平行语料挖掘的框架，通过动态规划的句子对齐算法和机器翻译相似度，达到了 96% 的句子对齐 F1 分数，并通过机器翻译实验证明，挖掘到的语料能提高课程讲稿翻译的质量。

    Nov, 2023