没有比更好的数据更好的数据:使用质量度量对 MT 数据进行过滤
提出了一种无监督方法来进行机器翻译的质量估计,该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息,并采用不确定性量化方法,实现了与人类判断质量的很好相关性,与最先进的监督质量估计模型相媲美。同时,他们还收集了第一个数据集,使得可以进行黑盒和白盒方法的质量估计的工作。
May, 2020
本文提出了一种基于质量评估的过滤方法,以从伪平行语料库中提取高质量的平行数据,并通过使用过滤后的语料库进行训练,改善了机器翻译系统的性能。该方法在英语 - 马拉地语、中文 - 英语和印地语 - 孟加拉语语言对中表现出了很好的效果,通过迁移学习在仅使用 500 个印地语 - 孟加拉语训练实例的情况下,相比基准模型提高了最多 0.6 个 BLEU 分数。
Jun, 2023
本研究旨在提高机器翻译句子水平的翻译编辑速率预测,提出了句子水平的质量分类(QC)观点,以优化召回率,并通过二进制分类器的使用可将后编辑工作量减少至 50-60%。
May, 2020
机器翻译质量评估(MTQE)是实时估计机器翻译文本质量的任务,不需要参考翻译,对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。
Mar, 2024
该论文旨在通过自监督的预训练方法以及标记修正策略,提高机器翻译的质量估计,避免传统质量评价准则的局限性,并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。
Sep, 2022
该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法,通过研究近期最优设备的评价体系,发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时,该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别,并探讨了这种方法对于评估系统的多个领域可能产生的影响以及评估结果可行性的可比性。
Sep, 2021
本文提出了一种基于预训练模型的机器翻译质量评估方法,通过度量预测模型评分来进行质量评估并为人工评估模型提供预训练;实验结果表明,该方法在无需参考标准情况下依然可以上可接受的精度,但也存在一定的局限性。
Jan, 2023
使用质量评估指标(QE)的方法 ——QE-fusion,能够利用候选池子中的不同候选结合 QE 度量,从而更好地对应人类判断,从而合成改进的翻译。QE-fusion 是一种与波束搜索和最新的重新排序技术(如最小贝叶斯风险解码和 QE - 重新排序)相比的方法,能在大型语言模型和多语种翻译模型上提高翻译质量。该方法在近半数的情况下生成了新颖的翻译,并在候选数量(5-200)不同的情况下始终优于其他方法。此外,实验证明 QE-fusion 与候选池中的候选数量呈线性关系,并且无需对大型语言模型进行昂贵的重新训练。
Jan, 2024