Sep, 2022

WMT22 通用机器翻译任务的自动评估

PDF
TL;DR本文介绍了第七届机器翻译会议的机器翻译任务自动评估，其中评估了 185 种系统，包括高资源到低资源语言对和从密切相关到远离的语言。自动度量标准 chrF、BLEU 和 COMET 可以相互补充以减轻解释性和准确性方面的限制，并凸显了当前最先进的机器翻译系统的一些局限性。
machine translationautomatic evaluationlanguage pairsautomatic metricsstate-of-the-art
发现论文，激发创造
  • WMT22 多语言机器翻译任务的 VolcTrans 系统

    本报告介绍了我们的 VolcTrans 系统，它是一个基于 Transformer 的多语言模型，使用从多个来源收集的数据进行训练，包括来自数据轨道的公共训练集，由 Meta AI 提供的 NLLB 数据，自收集的平行语料库和来自反向翻译的伪双语文本。在官方测试集上，我们的系统实现了 17.3 BLEU，21.9 spBLEU，和 41.9 chrF2 ++，平均所有语言对的推理速度为每秒 11.5 句，使用单个 Nvidia Tesla V100 GPU。

    Oct, 2022

  • Tencent WMT22 大规模非洲语言多语言机器翻译系统

    本文介绍了腾讯的多语言机器翻译系统，该系统使用数据扩增、分布式稳健优化和语系分组等技术来应对数据不平衡和多语言难题，其中在 WMT22 的有限数据情况下，取得了第一名的成绩。

    Oct, 2022

  • 机器翻译评估概述

    自 20 世纪 50 年代以来，机器翻译 (MT) 已成为人工智能和开发的重要任务之一，并经历了几个不同阶段的发展，随着这些发展，评估方法在统计翻译和神经翻译研究中扮演着重要角色，该报告概述了评估方法的发展历程、研究方法分类和最新进展，并包括参考翻译的手动评估和自动评估方法。

    Feb, 2022

  • 机器翻译研究的科学可信度：769 篇论文的元评估

    本文是机器翻译评估的第一篇大规模元评估，发现了在过去十年中自动 MT 评估的做法已经发生了巨大的变化和令人担忧的趋势。我们提出了指南来鼓励更好的自动 MT 评估，并提出了一个简单的元评估评分方法来评估其可靠性。

    Jun, 2021

  • 困难感知机器翻译评估

    提出一种考虑翻译难度的机器翻译评估方法，结果显示在 WMT19 上表现出色。

    Jul, 2021

  • Naver Labs Europe WMT19 机器翻译鲁棒性任务系统

    本文介绍了我们在 WMT19 机器翻译鲁棒性任务中提交的系统，该任务旨在提高机器翻译对社交媒体中的噪声（如非正式语言和拼写错误）的稳健性。我们针对法语 - 英语和日语 - 英语两种翻译方向，提出了单一和集成系统，集成模型在所有语种中都排名第一。我们讨论了我们所做的预处理选择，并提出了我们对噪声和领域适应性鲁棒性的解决方案。

    Jul, 2019

  • BLEU 的黑箱：重新评估自动机器翻译评估指标

    研究了自动度量在机器翻译系统开发和评估中的问题，发现现有的判断度量方法对于用于评估的翻译非常敏感，特别是存在异常值的情况下，经常会导致关于指标作用的错误结论。研发了一种用于阈值性能提高的算法，可以模拟在与人工判定相比的情况下出现的 2 类误差。这些结果表明，需要改进度量评估和系统性能评估协议。

    Jun, 2020

  • 专家、误差与上下文：人工评估机器翻译的大规模研究

    研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果不同，人工翻译的结果被明显偏爱，但自动评估指标基于预训练嵌入的表现也足以胜过人工众包评估，为今后的研究提供公共语料库。

    Apr, 2021

  • 在线学习与机器翻译评估：以最少的人力努力找到最佳系统

    基于在线学习的机器翻译自动化指标优化方法，通过对多个语言对进行评估，快速收敛于表现最佳的前三个系统。

    May, 2021

  • 微软基于 WMT21 共享任务的多语言机器翻译系统

    本文介绍 Microsoft 在 WMT21 大规模多语言机器翻译竞赛中使用的机器翻译系统，该系统使用基于 DeltaLM 的泛用预训练多语言编码器 - 解码器模型进行初始化，应用迭代反向翻译方法和渐进式学习来优化性能，在三个评估轨迹中都获得了第一名。

    Nov, 2021