Jun, 2023

少即是多”：“少样本” 质量评估基于语料库过滤提升机器翻译

PDF
TL;DR本文提出了一种基于质量评估的过滤方法，以从伪平行语料库中提取高质量的平行数据，并通过使用过滤后的语料库进行训练，改善了机器翻译系统的性能。该方法在英语 - 马拉地语、中文 - 英语和印地语 - 孟加拉语语言对中表现出了很好的效果，通过迁移学习在仅使用 500 个印地语 - 孟加拉语训练实例的情况下，相比基准模型提高了最多 0.6 个 BLEU 分数。
quality estimationcorpus filteringmachine translationpseudo-parallel corpustransfer learning
发现论文，激发创造
  • 没有比更好的数据更好的数据：使用质量度量对 MT 数据进行过滤

    使用质量评估（QE）指标过滤训练数据的句子对可以提高翻译质量并减少训练规模一半。

    Nov, 2023

  • 低资源语料挖掘的更好质量估计

    提出一种使用多任务训练、数据增强和对比学习相结合的方法，从而提高质量估计模型在现实应用中的鲁棒性，并在 Parallel Corpus Mining 样本集上进行了测试，结果表明该方法的效果比现有方法要好很多，在 PCM 精度上提高了超过 0.80，使用的数据量较少

    Mar, 2022

  • 关于使用平行数据进行翻译质量评估的研究

    本文重点研究了机器翻译的质量估计，通过对比使用不同方向的平行数据在数据增强方面的影响，发现使用原文作为源数据可以带来相对较好的效果。

    Dec, 2022

  • 跨语言 Transformer 多语言词级质量评估的探索性分析

    本文探讨了以往机器翻译的词汇质量评估模型的局限性，并提出了基于强大的预训练 Transformer 模型的跨语言通用性的词汇质量评估模型，证明其在跨语言模型训练、零样本 / 少样本数据归集的情况下，很好地泛化了，并且在实际应用中具有更广泛的应用前景。

    May, 2021

  • 知识蒸馏用于质量评估

    为了调整预先训练的质量评估模型的体积，将强质量评估教师模型的知识直接转移到体积更小的模型中，并结合数据增强，得到了具有 8 倍更少参数的轻量级质量评估模型。

    Jul, 2021

  • 神经机器翻译的无监督质量评估

    提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

    May, 2020

  • 针对低资源语言的不匹配感知无监督翻译质量评估

    本文提出了一种简单的无监督翻译质量评估方法 XLMRScore，该方法基于使用 XLM-RoBERTa 模型计算的 BertScore，并讨论了使用此方法时出现的问题。接着，我们提出两种方法来缓解问题，并将所提出的方法用于四个 WMT21 QE shared task 中的低资源语言对以及本文介绍的一个新的英语 - 波斯语测试数据集。实验表明，在两个零 - shot 场景下，我们的方法可以获得与有监督基线相当的结果，即 Pearson 相关性差异小于 0.01，在所有低资源语言对中的表现均优于无监督对手，平均超过 8％。

    Jul, 2022

  • 基于分类的质量评估：用于实际应用的小型高效模型

    我们研究了句子级机器翻译的质量估计 (QE) 问题，发现传统的基于回归的方法以及基于压缩模型的方法都不能很好地解决实际应用中的问题，而基于分类的方法可以更好地反映他们在实际应用中的性能表现。

    Sep, 2021

  • 从手工特征到 LLMs：机器翻译质量估计的简要调查

    机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。

    Mar, 2024

  • 机器翻译质量估计的实用视角

    本研究旨在提高机器翻译句子水平的翻译编辑速率预测，提出了句子水平的质量分类（QC）观点，以优化召回率，并通过二进制分类器的使用可将后编辑工作量减少至 50-60％。

    May, 2020