本文研究了现代测量方法的 “动态范围”，旨在提供有关分数差异的集体理解，包括在测量之间以及内部分数之间的意义，即我们问对于人类来说，系统之间需要多大的指标差异 X 才能被注意到。我们在一个新的大型数据集 ToShip23 上进行评估，使用该数据集发现了在评估指标达到对人类有意义的系统级差异时的差值，我们通过成对系统准确性来衡量这种差异。在数据量允许的情况下，我们还探讨了指标差异和准确性对于更细粒度特征的影响，例如翻译方向、领域和系统接近程度。

Jan, 2024

本文章提出一种同时评估生成文本方法质量和多样性的度量标准，通过逼近学习生成模型和真实数据分布的距离，并介绍了基于 n-gram 和 BERT 特征的度量方法，并且在 Oracle 训练模式下使用相应显式分布之间的距离。最后，使用现有和提出的度量标准对最流行和最新的文本生成模型进行评估，确定提出度量标准的优势。

Apr, 2019

本文提出了一种新型的自动评估方法 BlonDe，通过将话语连贯性考虑在内来扩大自动翻译评估的范围，从句子级别提高到文档级别，该方法能够更好地区分文档级别的翻译质量改进和句子级别的改进，并且具有更好的判别性、可解释性和敏感性。在大规模的人类研究中，BlonDe 也成功地取得了比前期评估指标更高的 Pearson r 相关度。

Mar, 2021

提出了一种基于 BERT 的学习评估指标 BLEURT，可以通过数千个训练实例建模人类判断，并使用数百万个合成实例的新型预训练方案来帮助模型泛化，提供在 WMT Metrics 共享任务和 WebNLG 大赛数据集上的最佳结果。

Apr, 2020

机器翻译衡量指标 BLEU 存在参数化问题，可采用 WMT 会议上的 BLEU 方案，同时提供新工具 SacreBLEU 以避免标准化及标记化不一致问题。

Apr, 2018

本文提出一种计算期望 BLEU 分数的可微下限的方法，避免了使用强化学习（RL）框架的 REINFORCE 规则所需的计算昂贵的采样过程，并解决了语言处理任务中非可微度量指标和最优化所需目标的不匹配问题。

Dec, 2017

本研究提出 CodeBLEU 作为一种新的自动代码评估指标，它可通过 n-gram 匹配吸收 BLEU 的优点，并通过抽象语法树和数据流注入代码语法和语义，实现对三种代码合成任务的质量评估，结果表明，与 BLEU 和准确性相比，我们的提出的 CodeBLEU 可以更好地与程序员分配的分数相关联。

Sep, 2020

本研究通过比较不同收集参考文献的方法，找到了提高机器翻译自动测量与人工评估相关性的关键。同时，提出了基于语言学家的改写任务，解决了传统参考文献的单调性问题，它不仅能够提高 WMT 2019 英德翻译的相关性，而且对于后翻译和 APE 增强的 MT 输出，同样具有良好的表现。

Apr, 2020

本研究旨在探讨机器翻译评估指标的行为特征，通过 DEMETR 诊断性数据集、跨越语义、语法和形态学错误类别的 35 种不同语言扰动，发现学习评价指标表现比基于字符串的指标表现更好，而且它们对不同现象的敏感度不同，该研究公开了 DEMETR 以推动机器翻译评估指标的更多发展。

Oct, 2022

本研究探讨将传统评估方法如 BLEU 或 chrF 与基于神经网络的机器翻译评估方法如 COMET 或 BLEURT 相结合，通过使用附加的诸如句子级特征和单词级标签等额外信息训练评估指标，提高了最新状态下的机器翻译评估方法的稳健性，从而在几种语言对上提高了与人类判断的相关性和在挑战数据集上获得了更好的表现。

May, 2023