本文研究了使用平行语料库来估计由数据驱动机器翻译系统产生的翻译质量,并展示了该简单直接的方法对机器翻译系统的翻译质量估计具有潜在的应用价值。
Jun, 2023
提出了一种无监督方法来进行机器翻译的质量估计,该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息,并采用不确定性量化方法,实现了与人类判断质量的很好相关性,与最先进的监督质量估计模型相媲美。同时,他们还收集了第一个数据集,使得可以进行黑盒和白盒方法的质量估计的工作。
May, 2020
研究了使用合成 TQE 数据和预训练多语言编码器的无监督句子级 TQE 方法的可用性,发现该方法在预测后编辑工作量和人工评估分数方面优于其他无监督 TQE 方法,并且在预测后编辑工作量上优于零资源翻译方向。
Nov, 2023
本文提出了一种基于预训练模型的机器翻译质量评估方法,通过度量预测模型评分来进行质量评估并为人工评估模型提供预训练;实验结果表明,该方法在无需参考标准情况下依然可以上可接受的精度,但也存在一定的局限性。
Jan, 2023
我们提出了一种模型特定的无监督质量评估方法,称为 $k$NN-QE,该方法从机器翻译模型的训练数据中提取信息,并使用 $k$ 个最近邻进行评估。我们还提出了一种使用基于参考的度量标准的质量评估自动方法,并通过详细分析得出结论,MetricX-23 是最适合该任务的方法。
Apr, 2024
该论文旨在通过自监督的预训练方法以及标记修正策略,提高机器翻译的质量估计,避免传统质量评价准则的局限性,并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。
Sep, 2022
探索概率方法来提高机器翻译质量评估,提供良好的置信度估计,并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息,从而捕捉翻译工作流程中的典型情况。
Jun, 2016
为了调整预先训练的质量评估模型的体积,将强质量评估教师模型的知识直接转移到体积更小的模型中,并结合数据增强,得到了具有 8 倍更少参数的轻量级质量评估模型。
Jul, 2021
机器翻译的实际应用中一个重要的挑战是用户缺乏决策指导,本文通过在高风险的医疗环境中模拟决策过程,评估了质量估计反馈对决策的影响,发现质量估计提高了适当依赖机器翻译的能力,但与仅使用质量估计相比,后翻译帮助医生发现了更多常常被质量估计忽视的临床上有害的错误。
Oct, 2023
该论文提出了一种基于人类评估和众包数据的图片描述质量评估模型,并证明模型能够有效地检测和滤除低质量的图片描述,从而提高了图片描述系统的用户体验。
Sep, 2019