医生对机器翻译中的临床危害的检测：质量估计有助于信赖和反向翻译发现关键错误

EMNLPOct, 2023

医生对机器翻译中的临床危害的检测：质量估计有助于信赖和反向翻译发现关键错误

Physician Detection of Clinical Harm in Machine Translation: Quality Estimation Aids in Reliance and Backtranslation Identifies Critical Errors

PDF

Nikita Mehandru, Sweta Agrawal, Yimin Xiao, Elaine C Khoong, Ge Gao...

TL;DR机器翻译的实际应用中一个重要的挑战是用户缺乏决策指导，本文通过在高风险的医疗环境中模拟决策过程，评估了质量估计反馈对决策的影响，发现质量估计提高了适当依赖机器翻译的能力，但与仅使用质量估计相比，后翻译帮助医生发现了更多常常被质量估计忽视的临床上有害的错误。

Abstract

A major challenge in the practical use of machine translation (MT) is that users lack guidance to make informed decisions about when to rely on outputs. Progress in quality estimation research provides techniques to automatically assess MT quality, but these techniques have primarily b

machine translation mt quality estimation quality estimation feedback high-stakes medical settings backtranslation

发现论文，激发创造

基于训练数据直接证据的机器翻译文本质量评估

本文研究了使用平行语料库来估计由数据驱动机器翻译系统产生的翻译质量，并展示了该简单直接的方法对机器翻译系统的翻译质量估计具有潜在的应用价值。

Jun, 2023

推动正确按钮：对质量评估的对抗性评估

该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法，通过研究近期最优设备的评价体系，发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时，该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别，并探讨了这种方法对于评估系统的多个领域可能产生的影响以及评估结果可行性的可比性。

Sep, 2021

超越通用机器翻译：需要上下文特定的实证研究以设计适当的用户信任

本文讨论 MT 系统的质量评估和信任度，分享医生使用 MT 系统的经验和挑战，并提倡实证研究是解决用户和 MT 系统之间信任问题的重要第一步。

May, 2022

机器翻译质量评估中的预测不确定性探讨

探索概率方法来提高机器翻译质量评估，提供良好的置信度估计，并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息，从而捕捉翻译工作流程中的典型情况。

Jun, 2016

机器翻译的质量期望

该论文旨在讨论机器翻译是如何被应用的，如何评估其输出，以及如何提高机器翻译的质量，特别是作为人类翻译的生产力增强工具，其中需要考虑翻译本身的预期生命周期以及质量评估等问题。

Mar, 2018

机器翻译质量估计的实用视角

本研究旨在提高机器翻译句子水平的翻译编辑速率预测，提出了句子水平的质量分类（QC）观点，以优化召回率，并通过二进制分类器的使用可将后编辑工作量减少至 50-60％。

May, 2020

神经机器翻译的无监督质量评估

提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

May, 2020

机器翻译评估概述

自 20 世纪 50 年代以来，机器翻译 (MT) 已成为人工智能和开发的重要任务之一，并经历了几个不同阶段的发展，随着这些发展，评估方法在统计翻译和神经翻译研究中扮演着重要角色，该报告概述了评估方法的发展历程、研究方法分类和最新进展，并包括参考翻译的手动评估和自动评估方法。

Feb, 2022

重新思考基于人工判断的机器翻译单词质量评估

该论文旨在通过自监督的预训练方法以及标记修正策略，提高机器翻译的质量估计，避免传统质量评价准则的局限性，并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。

Sep, 2022

不确定性感知的机器翻译评估

本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗 dropout 和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自 QT21 数据集和 WMT20 度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

Sep, 2021