Feb, 2022

评估机器翻译系统：一个理论框架

PDF
TL;DR本篇论文提出了一个理论框架，可以设计不同的自动度量标准来评估机器翻译系统。它引入了 “认知轻松度” 概念，依赖于 “适当性” 和 “流畅度”。这样，认知轻松度成为要测量的主要参数，而不是可理解性。该框架允许对认知轻松度的各个组成部分进行分解和基于不同的语言层次进行计算。此外，维度的独立性和线性组合方法为高度模块化的方法提供了可能性。该论文将现有的自动方法置于一个整体框架中，以更好地理解它们并在未来改进它们。它也可以用来评估新类型的 MT 系统，例如语音到语音翻译和语篇翻译。
automatic metricsmachine translationcognitive easecomprehensibilitylinguistic levels
发现论文，激发创造
  • BLEU 的黑箱：重新评估自动机器翻译评估指标

    研究了自动度量在机器翻译系统开发和评估中的问题，发现现有的判断度量方法对于用于评估的翻译非常敏感，特别是存在异常值的情况下，经常会导致关于指标作用的错误结论。研发了一种用于阈值性能提高的算法，可以模拟在与人工判定相比的情况下出现的 2 类误差。这些结果表明，需要改进度量评估和系统性能评估协议。

    Jun, 2020

  • 困难感知机器翻译评估

    提出一种考虑翻译难度的机器翻译评估方法，结果显示在 WMT19 上表现出色。

    Jul, 2021

  • 机器翻译评估概述

    自 20 世纪 50 年代以来，机器翻译 (MT) 已成为人工智能和开发的重要任务之一，并经历了几个不同阶段的发展，随着这些发展，评估方法在统计翻译和神经翻译研究中扮演着重要角色，该报告概述了评估方法的发展历程、研究方法分类和最新进展，并包括参考翻译的手动评估和自动评估方法。

    Feb, 2022

  • 机器翻译研究的科学可信度：769 篇论文的元评估

    本文是机器翻译评估的第一篇大规模元评估，发现了在过去十年中自动 MT 评估的做法已经发生了巨大的变化和令人担忧的趋势。我们提出了指南来鼓励更好的自动 MT 评估，并提出了一个简单的元评估评分方法来评估其可靠性。

    Jun, 2021

  • 机器翻译指标外部评估

    本文研究了自动机器翻译度量在句子级别（段落级别评估）中区分好的翻译和坏的翻译的可靠性，并研究了在较大平台中放置机器翻译组件的成功率检测中 MT 度量的有用性。我们在三个下游跨语言任务（对话状态跟踪，问题回答和语义分析）上评估了最广泛使用的 MT 度量（chrF，COMET，BERTScore 等）的段落级别性能。我们的实验表明，所有的度量标准与下游结果的内在评估显示出微不足道的相关性。我们还发现，神经度量提供的分数大多数不是可解释的，因为其值域未定义。我们的分析表明，将来的 MT 指标应该被设计成产生错误标签而不是得分，以便于外在评估。

    Dec, 2022

  • 在线学习与机器翻译评估：以最少的人力努力找到最佳系统

    基于在线学习的机器翻译自动化指标优化方法，通过对多个语言对进行评估，快速收敛于表现最佳的前三个系统。

    May, 2021

  • 使用增量机器翻译系统评估自动评估衡量标准

    我们介绍了一个数据集，它包含了在 12 个翻译方向上，在六年时间内每周收集的商业机器翻译。我们假设商业系统会随着时间改进，这使我们能够评估基于对最近翻译的偏好的机器翻译度量标准。我们的研究确认了机器翻译度量研究中的几个之前的发现，并展示了该数据集作为度量评估的测试平台的价值。我们将我们的代码发布在此 https URL

    Jul, 2024

  • MMTE：评估隐喻语言机器翻译质量的语料库和度量

    机器翻译的评估方法主要关注流畅度和事实可靠性，而对比喻质量关注较少。本文研究机器翻译的比喻质量，并提出了一组以比喻语言翻译为重点的人工评估指标。我们还介绍了一个多语言平行比喻语料库，并设计了评估协议来评估机器翻译的隐喻等价性、情感、真实性和质量。通过观察，我们发现比喻表达的翻译与字面意义的翻译具有不同的特点。

    Jun, 2024

  • 不确定性感知的机器翻译评估

    本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗 dropout 和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自 QT21 数据集和 WMT20 度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

    Sep, 2021

  • 评估语音翻译的评估指标

    本文评估了目前针对语音翻译的指标，并评估了不同评估方法在方言变体翻译上的影响。同时表明先前使用的自动度量标准最适合于标准化高资源语言。

    Oct, 2021