SLIDE：使用滑动文档窗口进行无参考机器翻译评估

Sep, 2023

SLIDE：使用滑动文档窗口进行无参考机器翻译评估

SLIDE: Reference-free Evaluation for Machine Translation using a Sliding Document Window

Vikas Raunak, Tom Kocmi, Matt Post

TL;DR通过使用滑动窗口对每个测试集文档进行块级句子处理，并将每个块输入未经修改的现成品质估计模型，我们提出了一个名为 SLIDE（滑动文档评估器）的度量标准，发现 SLIDE 比其句子级基准模型在配对系统准确性上获得了显著改进，有时甚至消除了与基于参考文献的度量标准之间的差距，这表明源上下文可能提供与人类参考文献相同的信息。

Abstract

reference-based metrics that operate at the sentence level typically outperform quality estimation metrics, which have access only to the source and system output. This is unsurprising, since references resolve a

reference-based metrics quality estimation metrics source context slide pairwise system accuracy

发现论文，激发创造

机器翻译无参考同行评估评估

通过使用大型多语言模型的概率作为参考度量标准，本文尝试了各种修改以推进无参考评估，并且分析了一些潜在的弱点，结果表明这种方法是出乎意料的稳健，可能在广泛领域和系统质量方面提供合理的性能。

Apr, 2021

文本简化系统的无参考质量评估

本文探讨了针对在无参考文本的情况下，对简化文本进行质量估计的多种方法，并基于 QATS 2016 的数据集对多个方法进行了比较，最终发现基于 n-gram 的机器翻译度量（如 BLEU 和 METEOR）最能与语法正确性和意义保留的人工评估相匹配，而基于长度的度量方法则最适合衡量简明易懂程度。

Jan, 2019

MT-Ranker: 无参考系统间排序的机器翻译评估

机器翻译评估已被传统上视为回归问题，但这种方法存在两个限制：缺乏可解释性且人工评注者难以给出一致的分数；在真实的场景中，大多数评分方法基于（参考翻译）对，限制了它们的适用性。本研究提出一种新的评估方法，将无参考机器翻译评估转化为配对排序问题，并通过使用自然语言推理的间接监督和合成数据的弱监督来展示其与人类判断的卓越相关性。MT-Ranker 在无人工注释的情况下，在 DARR20、MQM20、MQM21 等 WMT Shared Metrics Task 基准测试上取得了最先进的结果，在包含细粒度评估标准的更有挑战的基准测试 ACES 上，MT-Ranker 在无参考和参考基准线上表现出最先进的水平。

Jan, 2024

生成文本的无参考评估的局限性

我们的研究表明：参考文本的自由度量在评估生成文本方面存在固有的偏见和限制，因此建议将其作为分析和理解模型行为的诊断工具，而不是评估模型任务表现的指标。

Oct, 2022

令人尴尬的简单文档级机器翻译度量方法：如何将任何预训练度量转化为文档级度量

通过在文档级别引入上下文内容，可以扩展当前基于句子级别的机器翻译度量，提高翻译质量和准确性。

Sep, 2022

关于机器翻译结果的大规模文档层面人工评估用户界面

研究发现，针对机器翻译的人工评估需要考虑文本上下文，然而用户界面对于标注者的生产力和评估可靠性的影响却鲜有研究。本文通过比较两种不同方法获得的人工评估数据，证明了一个以文档为中心的评估方法可以提高数据的质量，但却需要更多的时间投资。

Apr, 2021

机器翻译自动评估指标中参考翻译的质量和数量

自动机器翻译度量通常使用人工翻译来确定质量系统翻译，然而在这篇论文中我们发现，高质量的参考翻译可以提高度量与人类之间的相关性，并通过对多个参考翻译取平均值来改善所有度量的效果，这些发现可用于共享任务的评估者在特定预算下创建参考翻译以最大化度量的成功。