本研究介绍了一种名为 xCOMET 的开源学习度量方法，它融合了语句级评估和错误跨度检测能力，并展现出在各种评估类型（语句级、系统级和错误跨度检测）方面的最先进性能，同时突出和分类错误跨度，从而丰富了质量评估。通过稳健性分析和压力测试，我们还表明 xCOMET 在识别局部关键错误和产生幻觉方面有很强的能力。

Oct, 2023

本研究旨在探讨机器翻译评估指标的行为特征，通过 DEMETR 诊断性数据集、跨越语义、语法和形态学错误类别的 35 种不同语言扰动，发现学习评价指标表现比基于字符串的指标表现更好，而且它们对不同现象的敏感度不同，该研究公开了 DEMETR 以推动机器翻译评估指标的更多发展。

Oct, 2022

本文研究了神经度量与传统度量方法在评估机器翻译中的差异，并开发了多种神经可解释性方法来解释这些度量方法，并证明这些方法能够有效地分析翻译错误，促进未来的研究。

May, 2023

本概念论文介绍了可解释机器翻译指标的关键属性和目标，并提供了最新的基于生成模型的可解释性指标技术综合。同时，我们展望了下一代技术包括自然语言解释，并希望本文能够帮助促进和指导未来可解释评估指标的研究，同时有助于更好、更透明的机器翻译系统。

Jun, 2023

介绍了 COMET，这是一个使用神经网络的多语言机器翻译评估模型，它利用了跨语言预训练语言建模的最新进展，通过同时使用源输入和目标语言的参考翻译来更准确地预测机器翻译的质量，并在 WMT 2019 指标共享任务中获得了新的最优表现，并展示了对高性能系统的鲁棒性。

Sep, 2020

本文提出了一种基于语义相似度的代替奖励函数来优化 NMT 系统，在四种不同的语言翻译成英语的情况下，本文的方法不仅能提高 BLEU 和语义相似度的评估准确性，而且优化过程更快。

Sep, 2019

使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的性能。

Oct, 2021

本文通过统计分析了解到，在特定的问题类型中使用一些现有的评估度量指标很容易产生偏差，为了解决这个问题，需要对这些指标做出一些适应性的改进。通过对 ROUGE 和 BLEU 等评估度量指标的改进，我们提出了一种更好地将 n-gram 重叠与人类判断相关联的方法，通过统计分析证明了这种改进方法的有效性。这种改进方法可以为实际场景中的机器阅读理解系统的开发提供积极的指导。

Jun, 2018

本文研究了自动机器翻译度量在句子级别（段落级别评估）中区分好的翻译和坏的翻译的可靠性，并研究了在较大平台中放置机器翻译组件的成功率检测中 MT 度量的有用性。我们在三个下游跨语言任务（对话状态跟踪，问题回答和语义分析）上评估了最广泛使用的 MT 度量（chrF，COMET，BERTScore 等）的段落级别性能。我们的实验表明，所有的度量标准与下游结果的内在评估显示出微不足道的相关性。我们还发现，神经度量提供的分数大多数不是可解释的，因为其值域未定义。我们的分析表明，将来的 MT 指标应该被设计成产生错误标签而不是得分，以便于外在评估。

Dec, 2022

通过创建人工评估数据和简化的 MQM 指南，以及利用高资源语言的 DA 训练数据和 AfroXLM-Roberta 多语言编码器，我们解决了多语言机器翻译在非洲语言方面的挑战，并创建了最先进的评估指标 AfriCOMET，得到了与人工判断的 Spearman-rank 相关系数为 +0.406。

Nov, 2023