Jun, 2019

机器翻译评估中的翻译语

PDF
TL;DR分析研究表明翻译产生的语言特征会对机器翻译的评估结果产生负面影响，为此我们建议排除反向创建的测试数据。同时提出了过去机器翻译评估的重新评估以及如何提高所有三个过去评估的可靠性的潜在方法。通过对过去评估中应用的显著性检验进行统计功效分析，提供可靠的人机对抗检验测试的最佳样本数量的指导建议。最后，提供未来机器翻译评估的全面检查清单。
发现论文，激发创造
  • 机器翻译测试集中的翻译语效应

    本研究探讨了 translationese 对机器翻译测试数据的影响，发现使用 translationese 会导致 MT 系统的人工评估得分被高估，在某些情况下甚至会改变系统的排名，并且其影响与该翻译方向上现有 MT 系统的质量成反相关。

    Jun, 2019

  • 翻译还是原著？翻译化对机器翻译表现影响的因果分析

    翻译术语对机器翻译评价产生影响，此文章提出了新数据集 CausalMT 并分析了其中两个重要因素，即训练测试方向匹配和数据模型方向匹配对机器翻译性能的因果影响，提出了改进机器翻译训练和评估的建议。

    May, 2022

  • 多语言》NMT 中的翻译语作为一种语言的作用

    该研究在多语言模型中将机器翻译与自然语言文本区分开来，通过对数据进行标记，使得机器翻译输出更接近自然语言文本，从而提高翻译质量评分。

    Nov, 2019

  • 无需平行数据的翻译去 “翻译式” 重叠

    研究采用自监督学习与非监督学习相结合的方法，通过基于翻译的风格转换降低翻译文本中的翻译风格，消除了对平行验证数据的需求，有效地降低了翻译类文本的分类准确性，并在目标原始风格中保持了内容和流畅度。

    Oct, 2023

  • 关于使用回译训练的机器翻译系统的评估

    使用反向翻译作为数据增广技术可以提高自然文本和翻译文本的翻译质量，并且人类翻译者更喜欢反向翻译的产物，因为它们更加流畅，建议使用语言模型得分来衡量流畅度。

    Aug, 2019

  • 评估人机语言翻译平衡性的建议

    研究发现 2018 年 Hassan 等人的评估设计有问题，导致其认为人工翻译和机器翻译有同等水平的结论不准确，因此需要重新审视现有的评估方法，并且提出了一系列改进建议。

    Apr, 2020

  • 机器翻译中算法偏见对语言复杂性的影响

    本文研究机器翻译中偏见放大的问题，探究算法的偏见增强对语言是否会产生贫化作用。作者测试了不同的数据驱动机器翻译范式，并发现所有测试的语言对中，都存在词汇和形态上的丧失。

    Jan, 2021

  • 跨语言摘要中的翻译特征理解

    本文研究了跨语言文本摘要中的翻译现象并探究了其对模型性能和评估的影响，提出了建立适合低资源语言的 CLS 系统的方法，并提供了数据集和模型发展的建议。

    Dec, 2022

  • 机器翻译评估概述

    自 20 世纪 50 年代以来，机器翻译 (MT) 已成为人工智能和开发的重要任务之一，并经历了几个不同阶段的发展，随着这些发展，评估方法在统计翻译和神经翻译研究中扮演着重要角色，该报告概述了评估方法的发展历程、研究方法分类和最新进展，并包括参考翻译的手动评估和自动评估方法。

    Feb, 2022

  • 人工神经网络翻译中人类表现的重新评估：实现不可实现的目标？

    本文重新评估了一项最近的研究 (Hassan et al.,2018)，即使用成对排序法并考虑到三个变量，重申机器翻译在从中文到英文的新闻翻译方面已达到人类水平，我们提供了一组人类评估未来机器翻译的建议。

    Aug, 2018