机器翻译系统的定量细致人类评估：以英语到克罗地亚语为例的案例研究

Feb, 2018

机器翻译系统的定量细致人类评估：以英语到克罗地亚语为例的案例研究

Quantitative Fine-Grained Human Evaluation of Machine Translation Systems: a Case Study on English to Croatian

Filip Klubička, Antonio Toral, Víctor M. Sánchez-Cartagena

TL;DR本文提出了一种基于多维质量度量（Multidimensional Quality Metrics，MQM）误差分类的手动评估方法，以评估不同机器翻译系统之间的性能差异是否显著，针对英语到克罗地亚语这一翻译方向，比较了纯基于短语的、分解短语的和神经网络三种不同范例的机器翻译系统，发现神经网络机器翻译方法在长距离一致现象的处理方面具有特别的有效性。

Abstract

This paper presents a quantitative fine-grained manual evaluation approach to comparing the performance of different machine translation (MT) systems. We build upon the well-established multidimensional quality metrics<

machine translation multidimensional quality metrics morphologically rich language neural mt linguistic phenomena

发现论文，激发创造

神经网络与基于短语的机器翻译的细粒度人类评估

本研究通过错误标注的方法比较了三种统计机器翻译方法（基于短语、因式分解基于短语和神经网络），结果显示最佳性能的神经网络系统比最差性能的基于短语系统减少了 54% 的错误，而错误类型符合多维质量度量标准（MQM）。

Jun, 2017

专家、误差与上下文：人工评估机器翻译的大规模研究

研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果不同，人工翻译的结果被明显偏爱，但自动评估指标基于预训练嵌入的表现也足以胜过人工众包评估，为今后的研究提供公共语料库。

Apr, 2021

基于测试套件的德英机器翻译的细粒度评估

本研究基于一个手动设计的语言测试套件，分析了 16 种 MT 系统在德 - 英翻译中的性能表现，可对它们基于性能在不同类别的漏洞和优势进行比较和鉴定。

Oct, 2019

多维机器翻译评估：韩语模型评估和资源

通过提供一个英韩语言对的 1200 句 MQM 评估基准，将机器翻译评估重新定义为使用 SOTA 语言模型同时预测多个 MQM 分数的多任务问题，在参考 MT 评估和无参考质量估计（QE）设置中，我们发现无参考设置在风格维度上优于参考设置，而参考模型在准确性方面保持优势，总体上，RemBERT 是最有希望的模型。通过我们的评估，以一种更精细化、可解释的方式提供了关于翻译质量的见解。

Mar, 2024

字符级神经机器翻译的语法性如何？通过对比翻译对评估机器翻译质量

通过对神经机器翻译实现对特定语言现象的质量评估，我们提出了一种新方法并给出了包含 97000 对用于 WMT 英语 -> 德语翻译任务的对照翻译数据集 LingEval97，对字符级别和字节对编码（BPE）分割模型的实验结果显示，前者在翻译转写方面表现更好，但在形态句法协议和翻译非连续的意义单元方面表现较差。

Dec, 2016

错误中蕴藏着魔鬼的力量：利用大型语言模型进行细粒度机器翻译评估

自动机器翻译评估是推动机器翻译系统快速迭代发展的关键工具，本文在已有单一评分指标的基础上提出 AutoMQM，一种通过大语言模型的推理和上下文学习能力来识别和分类翻译错误的提示技术。通过评估最新的大语言模型 PaLM 和 PaLM-2，通过简单的得分预测提示，发现 AutoMQM 在 PaLM-2 模型上优于仅提示得分的性能，并能提供与人工注释相一致的错误范围，具有解释性。

Aug, 2023

神经网络与基于短语的机器翻译质量比较：一个案例研究

本文分析了神经网络机器翻译（NMT）与基于短语的机器翻译（PBMT）在英语 - 德语翻译数据集上的表现，从专业翻译的高质量后编辑结果中发现神经网络机器翻译在表述动词重新排序等语言现象时具有更好的建模能力，但仍有需要改进的方面。

Aug, 2016

评估汉英情感微博文本机器翻译：一份用于情感翻译质量评估的人工标注数据集

本文关注机器翻译对情感文本的翻译表现，并通过提出的基于多维质量度量的评估框架，对谷歌翻译的输出进行评估。作者发现大约 50% 的机器翻译输出没有保留原始情感，并认为情感承载词和语言现象是这些翻译错误的常见原因。

Jun, 2023

QCRI IWSLT 16 机器翻译系统

本文介绍了 QCRI 针对 IWSLT 2016 的机器翻译系统。作者们建立了基于短语和神经网络的机器翻译模型，并比较了两种模型在阿拉伯语 - 英语语言对中性能的表现。研究结果表明，在阿拉伯语 - 英语翻译中，神经网络模型的 BLEU 值比基于短语的模型高 2 点。作者还将两种模型的输出进行了系统组合。

Jan, 2017

细调的机器翻译度量在未知领域中面临困难

我们引入了一个新的广泛的多维质量度量（MQM）注释数据集，涵盖了生物医学领域的 11 种语言对。我们利用该数据集来研究在训练和推理之间领域转移时，是否基于人工生成的机器翻译质量评判进行微调的机器翻译（MT）度量指标是否具有稳健性。我们发现，在未知领域情况下，经过微调的度量指标与依赖表面形式的度量指标以及未经过 MT 质量评判的预训练度量指标相比，表现出显著的性能降低。

Feb, 2024