基于训练数据直接证据的机器翻译文本质量评估
机器翻译的实际应用中一个重要的挑战是用户缺乏决策指导,本文通过在高风险的医疗环境中模拟决策过程,评估了质量估计反馈对决策的影响,发现质量估计提高了适当依赖机器翻译的能力,但与仅使用质量估计相比,后翻译帮助医生发现了更多常常被质量估计忽视的临床上有害的错误。
Oct, 2023
机器翻译质量评估(MTQE)是实时估计机器翻译文本质量的任务,不需要参考翻译,对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。
Mar, 2024
提出了一种无监督方法来进行机器翻译的质量估计,该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息,并采用不确定性量化方法,实现了与人类判断质量的很好相关性,与最先进的监督质量估计模型相媲美。同时,他们还收集了第一个数据集,使得可以进行黑盒和白盒方法的质量估计的工作。
May, 2020
该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法,通过研究近期最优设备的评价体系,发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时,该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别,并探讨了这种方法对于评估系统的多个领域可能产生的影响以及评估结果可行性的可比性。
Sep, 2021
本研究旨在提高机器翻译句子水平的翻译编辑速率预测,提出了句子水平的质量分类(QC)观点,以优化召回率,并通过二进制分类器的使用可将后编辑工作量减少至 50-60%。
May, 2020
探索概率方法来提高机器翻译质量评估,提供良好的置信度估计,并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息,从而捕捉翻译工作流程中的典型情况。
Jun, 2016
该论文旨在通过自监督的预训练方法以及标记修正策略,提高机器翻译的质量估计,避免传统质量评价准则的局限性,并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。
Sep, 2022
本文提出 DirectQE 框架,通过直接预训练来提高机器翻译质量估计(QE)任务的性能,其中生成器训练产生更接近真实 QE 数据的伪数据,检测器使用类似 QE 任务的新目标在这些数据上进行预先训练。在广泛使用的基准测试中,DirectQE 胜过现有方法,而且没有使用任何预训练模型,如 BERT。
May, 2021