通过使用 Multidimensional Quality Metric (MQM) 注释中的外部反馈来引导大型语言模型 (LLMs) 自动对机器翻译进行后编辑，以提高翻译质量。使用 LLaMA-2 模型，通过改变反馈的特性，我们考虑了不同的提示策略，并对 LLM 进行微调以提高其利用所提供指导的能力，实验证明提示 LLMs 对机器翻译进行后编辑，可以改善 TER、BLEU 和 COMET 分数，微调有助于更有效地整合细粒度的反馈，并基于自动和人工评估进一步提高翻译质量。

Apr, 2024

研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果不同，人工翻译的结果被明显偏爱，但自动评估指标基于预训练嵌入的表现也足以胜过人工众包评估，为今后的研究提供公共语料库。

Apr, 2021

通过提供一个英韩语言对的 1200 句 MQM 评估基准，将机器翻译评估重新定义为使用 SOTA 语言模型同时预测多个 MQM 分数的多任务问题，在参考 MT 评估和无参考质量估计（QE）设置中，我们发现无参考设置在风格维度上优于参考设置，而参考模型在准确性方面保持优势，总体上，RemBERT 是最有希望的模型。通过我们的评估，以一种更精细化、可解释的方式提供了关于翻译质量的见解。

Mar, 2024

本文提出了一种基于多维质量度量（Multidimensional Quality Metrics，MQM）误差分类的手动评估方法，以评估不同机器翻译系统之间的性能差异是否显著，针对英语到克罗地亚语这一翻译方向，比较了纯基于短语的、分解短语的和神经网络三种不同范例的机器翻译系统，发现神经网络机器翻译方法在长距离一致现象的处理方面具有特别的有效性。

Feb, 2018

通过使用机器翻译来增强现有的英文对话数据，我们提出了一个绕过数据缺乏问题的方法，用于开发鲁棒的多语言对话评估指标，并通过实验证明，与仅使用源数据微调多语言模型的强基线相比，仅仅使用翻译数据微调预训练的多语言编码器模型的天真方法无法取得更好的性能。相反，最佳方法是通过使用机器翻译质量估计度量仔细策划翻译数据，排除低质量翻译对其性能的影响。

Aug, 2023

提出了一种基于双向 Transformer 和双向 LSTM 预测模型的机器翻译自动评估框架，能够对 WMT 的翻译结果进行质量评估，并在 WMT 2017/2018 的质量评估任务中取得了最好的性能表现。

Jul, 2018

在本文中，我们进行了一个试点研究，通过在翻译记忆中标记错误并提取类似的例子来引导大型语言模型（LLMs）在技术领域中进行术语翻译以提高翻译质量。实验证明，通过增加人工标记错误的翻译可以引导 LLM 集中于错误修正，相比于自动后期编辑（APE）和从头开始的机器翻译，有着持续的改进。

Jun, 2024

该论文详细介绍了最新的 MQM 发展，并提出了一种适用于三种样本大小范围的通用翻译质量测量方法，还介绍了为非常小的样本大小采用统计质量控制的原因，起点为单个句子。

May, 2024

我们引入了一个新的广泛的多维质量度量（MQM）注释数据集，涵盖了生物医学领域的 11 种语言对。我们利用该数据集来研究在训练和推理之间领域转移时，是否基于人工生成的机器翻译质量评判进行微调的机器翻译（MT）度量指标是否具有稳健性。我们发现，在未知领域情况下，经过微调的度量指标与依赖表面形式的度量指标以及未经过 MT 质量评判的预训练度量指标相比，表现出显著的性能降低。

Feb, 2024

大型语言模型在机器翻译评估任务中取得了显著的成果，然而关于它们如何利用提供的数据进行评估仍存在知识空白。本研究旨在探索大型语言模型如何利用源语言和参考信息进行评估，从而更好地理解大型语言模型的工作机制。通过设计不同的输入模式和模型类型进行受控实验，并使用粗粒度和细粒度提示来识别源语言与参考信息的有效性，我们惊讶地发现参考信息显著提高了评估准确性，而源语言信息有时会适得其反，表明在使用大型语言模型评估翻译时缺乏跨语言能力。我们还对大型语言模型的翻译错误检测进行了元评估，观察到类似的现象。这些发现也为充分利用大型语言模型的跨语言能力以在机器翻译评估任务中取得更好性能提供了潜在的研究方向。

Jan, 2024