ACLMar, 2021

BlonDe：一种用于文档级机器翻译的自动评估指标

PDF
TL;DR本文提出了一种新型的自动评估方法 BlonDe，通过将话语连贯性考虑在内来扩大自动翻译评估的范围，从句子级别提高到文档级别，该方法能够更好地区分文档级别的翻译质量改进和句子级别的改进，并且具有更好的判别性、可解释性和敏感性。在大规模的人类研究中，BlonDe 也成功地取得了比前期评估指标更高的 Pearson r 相关度。
machine translationdocument-level evaluationdiscourse coherenceautomatic metricsblonde
发现论文，激发创造
  • 通过密集注释的平行语料库以话语为中心评估机器翻译

    本论文提出了一个带有丰富语篇注释的新数据集，并探讨了源语言和目标语言的语篇结构相似性和差异性以及其对机器翻译的挑战和机会，该资源可公开使用以促进未来在文档级机器翻译和其他语言翻译任务的研究。

    May, 2023

  • BLEU 的黑箱：重新评估自动机器翻译评估指标

    研究了自动度量在机器翻译系统开发和评估中的问题，发现现有的判断度量方法对于用于评估的翻译非常敏感，特别是存在异常值的情况下，经常会导致关于指标作用的错误结论。研发了一种用于阈值性能提高的算法，可以模拟在与人工判定相比的情况下出现的 2 类误差。这些结果表明，需要改进度量评估和系统性能评估协议。

    Jun, 2020

  • BLEU 或许有罪但参考文献并不无辜

    本研究通过比较不同收集参考文献的方法，找到了提高机器翻译自动测量与人工评估相关性的关键。同时，提出了基于语言学家的改写任务，解决了传统参考文献的单调性问题，它不仅能够提高 WMT 2019 英德翻译的相关性，而且对于后翻译和 APE 增强的 MT 输出，同样具有良好的表现。

    Apr, 2020

  • BLEU Meets COMET: 结合词汇和神经度量以实现机器翻译评估的稳健性

    本研究探讨将传统评估方法如 BLEU 或 chrF 与基于神经网络的机器翻译评估方法如 COMET 或 BLEURT 相结合，通过使用附加的诸如句子级特征和单词级标签等额外信息训练评估指标，提高了最新状态下的机器翻译评估方法的稳健性，从而在几种语言对上提高了与人类判断的相关性和在挑战数据集上获得了更好的表现。

    May, 2023

  • 文档级神经机器翻译的话语衔接评估

    该研究提出了一种文档的连贯性评估方法（DCoEM），在考虑了四种连贯方式（参考，连词，替换和词汇连贯）的情况下，为测量文档翻译的连贯性做出贡献，并通过最近的文档级 NMT 系统的评估结果表明我们的方法在评估文档级翻译方面是实用和必要的。

    Aug, 2022

  • DEMETR：用于翻译评估度量的诊断工具

    本研究旨在探讨机器翻译评估指标的行为特征，通过 DEMETR 诊断性数据集、跨越语义、语法和形态学错误类别的 35 种不同语言扰动，发现学习评价指标表现比基于字符串的指标表现更好，而且它们对不同现象的敏感度不同，该研究公开了 DEMETR 以推动机器翻译评估指标的更多发展。

    Oct, 2022

  • 使用上下文提高神经机器翻译训练目标

    本研究提出一种基于文档级度量的神经机器翻译培训方法，使用最小风险训练和蒙特卡罗采样来逼近预期的文档 BLEU 梯度，进而提高了 NMT 性能表现，并在文档级别的 TER 和语法错误修复（GEC）方面取得了一定的进展。

    May, 2020

  • 令人尴尬的简单文档级机器翻译度量方法：如何将任何预训练度量转化为文档级度量

    通过在文档级别引入上下文内容，可以扩展当前基于句子级别的机器翻译度量，提高翻译质量和准确性。

    Sep, 2022

  • 文档级机器翻译方法比较

    本文给出了关于文档级机器翻译的文献综述，对比了各种方法在两个文档级评估套件上的表现，并发现基于单语文档的回译方法在文档级评估和人类评估方面都能达到相同结果，因此不需要设计过于复杂的模型。

    Jan, 2021

  • 利用话语奖励进行文档级神经机器翻译

    本文提出了一种基于强化学习目标的训练方法，明确优化词汇凝聚力和连贯性两个学术界公认的话语质量指标，实现了在不牺牲翻译忠实度的前提下，比其他竞争性方法更有效地提高了多语种、多领域文档翻译的凝聚和连贯性。在中英语言对中，词汇凝聚力和连贯性分别提高了 2.46 和 1.17 个百分点，BLEU 分数和 F_BERT 分数分别提高了 0.63 和 0.47 个百分点。

    Oct, 2020