Nov, 2017

从可比语料库中提取英波斯平行语料库

PDF
TL;DR使用双向方法从英语和波斯文档的维基百科中提取平行句子，使用机器翻译系统将波斯文翻译成英文，反之亦然，然后使用 IR 系统测量翻译后句子的相似度，并将提取的句子加入现有 SMT 系统的训练数据，以改善翻译质量。提出的方法略优于单向方法。提取的语料库包含约 200,000 个句子，已按其相似度由 IR 系统计算排序，并可在 Web 上免费访问。
parallel datastatistical machine translationbidirectional methodparallel sentencesir system
发现论文，激发创造
  • MIZAN：波斯語 - 英語大型平行語料庫

    本文介绍了采集自文学杰作的超过一百万句子对的最大波斯语 - 英语平行语料库，包括其获取过程和统计信息，并使用该语料库对基础统计机器翻译系统进行实验。

    Jan, 2018

  • 构建主题对齐的可比较语料库并挖掘其中真正的平行句对

    通过使用网页爬取方法和机器翻译系统，本文提出了一种从维基百科文章中获取主题对齐比较语料库的方法，并且能够提取噪音干扰较小的平行句子。

    Sep, 2015

  • 使用 Transformers 评估波斯语 - 英语机器翻译数据集

    本研究基于最受欢迎和有价值的平行语料库，将两种最先进的基于注意力的 seq2seq 模型应用于波斯语 - 英语机器翻译任务，旨在为研究人员提供标准基准，以评估其翻译结果。

    Feb, 2023

  • 联合国平行语料库注释翻译方向

    本研究将 UN 协议语料库中的翻译和原始文本区分开来，通过将问题建模为分类问题，可以达到高达 95％的分类准确性。我们通过为不同语言对派生并注释翻译方向的平行语料库，然后使用各种特征提取方法对数据进行分类。我们比较了不同的方法以及在不同语言中区分翻译和原始文本的能力。注释的语料库是公开可用的。

    May, 2018

  • WikiMatrix: 从维基百科挖掘出 1620 种语言对中的 1.35 亿个平行句子

    使用多语句子嵌入的方法自动从 85 种语言的维基百科文章中提取平行句子，共提取了 1.35 亿个平行句子，并且在 1886 种语言对上训练神经机器翻译基线系统，取得了较高的 BLEU 分数。WikiMatrix bitexts 可以对离散的语言进行机器翻译训练，而不需要通过英语来进行桥接。

    Jul, 2019

  • 通过预训练语言模型进行平行语料库过滤

    本文提出了一种利用预训练语言模型过滤爬取数据中的噪声句对的方法，并利用 BERT 的多语言能力度量语句的平行性，使用生成预训练（GPT）语言模型作为领域过滤器来平衡数据领域，通过在 WMT 2018 平行语料库过滤共享任务上的实验以及本文所提供的 Web-crawled 日译中平行语料库上的实验，证明该方法明显优于基准线，并取得了新的最新成果。

    May, 2020

  • 利用短语对注入和语料过滤改进机器翻译

    本论文表明，短语注入和语料库过滤的组合提高了神经机器翻译 (NMT) 系统的性能。我们从伪平行语料库中提取并增广平行短语和句子，以此训练 NMT 模型。在 Hindi-Marathi、English-Marathi 和 English-Pashto 这 3 种低资源语言对和 6 种翻译方向上，我们观察到了 NMT 系统的改进，并在 FLORES 测试数据上提高了 2.7 BLEU 分，这些 BLEU 分数改进是基于使用整个伪平行语料库和平行语料库增广的模型。

    Jan, 2023

  • 利用可比语料库诱导的双语词典进行低资源语言的神经机器翻译

    本文使用端到端的 Siamese 双向递归神经网络从 Wikipedia 的可比较多语言文章中提取并生成平行句子，证明使用所收集的数据集可以提高低资源语言对 (英―印度语和英―泰米尔语) 上的 BLEU 分数。

    Jun, 2018

  • PESTS: 波斯语 - 英语跨语言语义文本相似性语料库

    本文为首次使用语言专家生成了一个波斯语和英语句子之间语义文本相似性语料库 (PESTS)，并使用此数据集微调不同的基于 transformers 的模型，并且结果表明，使用 PESTS 数据集，XLM ROBERTa 模型的 Pearson 相关性从 85.87％提高至 95.62％。

    May, 2023

  • 双语语料库挖掘和多阶段微调以提升讲座文稿机器翻译

    展示了一种利用公开的课程资料进行平行语料挖掘的框架，通过动态规划的句子对齐算法和机器翻译相似度，达到了 96% 的句子对齐 F1 分数，并通过机器翻译实验证明，挖掘到的语料能提高课程讲稿翻译的质量。

    Nov, 2023