xCOMET-lite: 在学习的 MT 评估指标中实现效率与质量之间的平衡

Jun, 2024

xCOMET-lite: 在学习的 MT 评估指标中实现效率与质量之间的平衡

xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics

Daniil Larionov, Mikhail Seleznyov, Vasiliy Viskov, Alexander Panchenko, Steffen Eger

TL;DR利用精简和压缩技术，我们创建了高效的 xCOMET 替代方法，并使用黑盒蒸馏数据收集管道，实验证明，经过量化处理后，xCOMET 可以压缩至原体积的三分之一，且质量不降低；通过蒸馏，我们创建了一个 xCOMET-lite 度量方法，它仅含有 xCOMET-XXL 参数的 2.6%，但保持了 92.1% 的质量，并且在 WMT22 度量挑战数据集上比 COMET-22 和 BLEURT-20 等小规模方法提高了 6.4%，即使用的参数量减少了 50%。

Abstract

State-of-the-art trainable machine translation evaluation metrics like xCOMET achieve high correlation with human judgment but rely on large encoders (up to 10.7B parameters), making them computationally expensive and inaccessible to researchers with limited resources. To address this

trainable machine translation evaluation metrics distillation quantization pruning techniques xcomet alternatives

发现论文，激发创造

xCOMET: 透明的机器翻译评估通过精细化错误检测

本研究介绍了一种名为 xCOMET 的开源学习度量方法，它融合了语句级评估和错误跨度检测能力，并展现出在各种评估类型（语句级、系统级和错误跨度检测）方面的最先进性能，同时突出和分类错误跨度，从而丰富了质量评估。通过稳健性分析和压力测试，我们还表明 xCOMET 在识别局部关键错误和产生幻觉方面有很强的能力。

Oct, 2023

为机器翻译学习紧凑的度量

使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的性能。

Oct, 2021

COMET: 机器翻译评估的神经框架

介绍了 COMET，这是一个使用神经网络的多语言机器翻译评估模型，它利用了跨语言预训练语言建模的最新进展，通过同时使用源输入和目标语言的参考翻译来更准确地预测机器翻译的质量，并在 WMT 2019 指标共享任务中获得了新的最优表现，并展示了对高性能系统的鲁棒性。

Sep, 2020

AfriMTE 和 AfriCOMET：推动 COMET 接纳资源匮乏的非洲语言

通过创建人工评估数据和简化的 MQM 指南，以及利用高资源语言的 DA 训练数据和 AfroXLM-Roberta 多语言编码器，我们解决了多语言机器翻译在非洲语言方面的挑战，并创建了最先进的评估指标 AfriCOMET，得到了与人工判断的 Spearman-rank 相关系数为 +0.406。

Nov, 2023

预训练 Transformer 的极致压缩简单高效实现

本文通过回顾相关学者先前的工作，系统地探讨了几个关键参数的影响。在此基础上，提出了一种名为 XTC 的简单而有效的压缩流程，它通过极端量化和层减少使模型尺寸降低了 50 倍，并在 GLUE 任务上实现了最新的最佳结果。

Jun, 2022

内部故事：迈向更好理解机器翻译神经评估指标

本文研究了神经度量与传统度量方法在评估机器翻译中的差异，并开发了多种神经可解释性方法来解释这些度量方法，并证明这些方法能够有效地分析翻译错误，促进未来的研究。

May, 2023

令人尴尬的简单文档级机器翻译度量方法：如何将任何预训练度量转化为文档级度量

通过在文档级别引入上下文内容，可以扩展当前基于句子级别的机器翻译度量，提高翻译质量和准确性。

Sep, 2022

机器翻译可解释评估指标的研究

本概念论文介绍了可解释机器翻译指标的关键属性和目标，并提供了最新的基于生成模型的可解释性指标技术综合。同时，我们展望了下一代技术包括自然语言解释，并希望本文能够帮助促进和指导未来可解释评估指标的研究，同时有助于更好、更透明的机器翻译系统。

Jun, 2023

追随 COMET：利用最小贝叶斯风险解码实现自我改进的机器翻译

本文研究了最小贝叶斯风险（MBR）解码在自我改进机器翻译（MT）中的应用，特别是针对领域适应和资源匮乏的语言。通过使用 COMET 作为 MBR 效用度量，我们实现了在 MBR 解码的正向翻译上微调模型的自我改进过程，旨在实现与人类偏好更为一致的翻译重新排名。该文探讨了这种方法的迭代应用和可能需要语种特定 MBR 效用度量的潜在需求。结果显示，在所有考察的语言对中，包括领域适应模型的成功应用和对资源匮乏环境的泛化，都显著提高了翻译质量。这突显了 COMET 指导的 MBR 在各种场景下实现高效 MT 自我改进的潜力。

May, 2024

COMET-QE 与主动学习在低资源机器翻译中的应用

本文研究了如何在资源稀缺情况下通过使用 COMET-QE 评估指标来选择句子用于低资源语言神经机器翻译，实验证明 COMET-QE 在句子选择方面比 RTTL 和随机选择句子等其他方法表现更好，可提高翻译结果的 BLEU 分数，并且在非常低资源的情况下具有很强的功效。

Oct, 2022