低资源语料挖掘的更好质量估计
本文提出了一种基于质量评估的过滤方法,以从伪平行语料库中提取高质量的平行数据,并通过使用过滤后的语料库进行训练,改善了机器翻译系统的性能。该方法在英语 - 马拉地语、中文 - 英语和印地语 - 孟加拉语语言对中表现出了很好的效果,通过迁移学习在仅使用 500 个印地语 - 孟加拉语训练实例的情况下,相比基准模型提高了最多 0.6 个 BLEU 分数。
Jun, 2023
本文探讨了以往机器翻译的词汇质量评估模型的局限性,并提出了基于强大的预训练 Transformer 模型的跨语言通用性的词汇质量评估模型,证明其在跨语言模型训练、零样本 / 少样本数据归集的情况下,很好地泛化了,并且在实际应用中具有更广泛的应用前景。
May, 2021
本文提出了一种简单的无监督翻译质量评估方法 XLMRScore,该方法基于使用 XLM-RoBERTa 模型计算的 BertScore,并讨论了使用此方法时出现的问题。接着,我们提出两种方法来缓解问题,并将所提出的方法用于四个 WMT21 QE shared task 中的低资源语言对以及本文介绍的一个新的英语 - 波斯语测试数据集。实验表明,在两个零 - shot 场景下,我们的方法可以获得与有监督基线相当的结果,即 Pearson 相关性差异小于 0.01,在所有低资源语言对中的表现均优于无监督对手,平均超过 8%。
Jul, 2022
我们研究了句子级机器翻译的质量估计 (QE) 问题,发现传统的基于回归的方法以及基于压缩模型的方法都不能很好地解决实际应用中的问题,而基于分类的方法可以更好地反映他们在实际应用中的性能表现。
Sep, 2021
提出了一种无监督方法来进行机器翻译的质量估计,该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息,并采用不确定性量化方法,实现了与人类判断质量的很好相关性,与最先进的监督质量估计模型相媲美。同时,他们还收集了第一个数据集,使得可以进行黑盒和白盒方法的质量估计的工作。
May, 2020
使用质量评估指标(QE)的方法 ——QE-fusion,能够利用候选池子中的不同候选结合 QE 度量,从而更好地对应人类判断,从而合成改进的翻译。QE-fusion 是一种与波束搜索和最新的重新排序技术(如最小贝叶斯风险解码和 QE - 重新排序)相比的方法,能在大型语言模型和多语种翻译模型上提高翻译质量。该方法在近半数的情况下生成了新颖的翻译,并在候选数量(5-200)不同的情况下始终优于其他方法。此外,实验证明 QE-fusion 与候选池中的候选数量呈线性关系,并且无需对大型语言模型进行昂贵的重新训练。
Jan, 2024
本文介绍了一种强大的质量估计系统,通过结合领域自适应和数据增强的方法,解决了数据稀缺和领域匹配的问题,获得了明显的性能提升,具有更好的跨语种推理和零样本学习表现。
Apr, 2023
本文提出 DirectQE 框架,通过直接预训练来提高机器翻译质量估计(QE)任务的性能,其中生成器训练产生更接近真实 QE 数据的伪数据,检测器使用类似 QE 任务的新目标在这些数据上进行预先训练。在广泛使用的基准测试中,DirectQE 胜过现有方法,而且没有使用任何预训练模型,如 BERT。
May, 2021