Aug, 2018

人工神经网络翻译中人类表现的重新评估：实现不可实现的目标？

PDF
TL;DR本文重新评估了一项最近的研究 (Hassan et al.,2018)，即使用成对排序法并考虑到三个变量，重申机器翻译在从中文到英文的新闻翻译方面已达到人类水平，我们提供了一组人类评估未来机器翻译的建议。
machine translationhuman paritytranslation proficiencyprofessional translatorsevaluation
发现论文，激发创造
  • 评估人机语言翻译平衡性的建议

    研究发现 2018 年 Hassan 等人的评估设计有问题，导致其认为人工翻译和机器翻译有同等水平的结论不准确，因此需要重新审视现有的评估方法，并且提出了一系列改进建议。

    Apr, 2020

  • 自动中英文新闻翻译达到人类水平

    该篇论文讨论了机器翻译的发展与挑战，评估了微软近期机器翻译系统在中英新闻翻译中的表现，结果显示该系统已经能够达到人类专业翻译水平。

    Mar, 2018

  • 机器翻译达到人类水平了吗？文档级别评估的案例分析

    在文档级翻译评估中，人类对于独立句子评价更偏向于人类翻译而非机器翻译，强调了机器翻译向文档级评价迈进的必要性。

    Aug, 2018

  • WMT 2019 中机器翻译人类水平与超人表现的重新评估

    本文重新评估 WMT 2019 机器翻译任务中英德、英俄和德英三个方向人工翻译水平与超人类水平的声明，发现除了英德方向人类翻译水平与机器翻译持平外，其他所有声明都被推翻，并提出了启示和未来评估的开放性问题。

    May, 2020

  • 专家、误差与上下文：人工评估机器翻译的大规模研究

    研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果不同，人工翻译的结果被明显偏爱，但自动评估指标基于预训练嵌入的表现也足以胜过人工众包评估，为今后的研究提供公共语料库。

    Apr, 2021

  • 使用双向蕴涵的机器翻译评估

    本文提出了一种基于双向蕴含的机器翻译评估新指标，利用深度学习实现候选和参考翻译之间的语义相似度评分，应用于 WMT'14 和 WMT'17 数据集，与传统指标相比在系统级别上具有更好的与人工注释评分的相关性。

    Nov, 2019

  • 机器翻译与人工翻译的翻译语言比较和翻译关系研究

    本研究通过翻译关系的视角探讨神经机器翻译（NMT）和人工翻译（HT）之间的区别，以评估 NMT 系统产生的翻译技术，并回答三个关键研究问题：NMT 和 HT 之间整体翻译关系的差异，它们如何使用非字面翻译技术，以及影响它们使用特定非字面技术的因素的变化。该研究使用了两个平行语料库，每个语料库涵盖了九种类型的文本，其中一个由 NMT 翻译，另一个由人类翻译。这些语料库中的翻译关系在对齐的句对上进行了手动注释，从而实现了对语言洞察力的比较分析，包括语义和句法细微差别，如上位词和词性标注的改变。结果表明，与 HT 相比，NMT 在各种类型中更倾向于进行字面翻译。虽然 NMT 在句法非字面翻译技术的运用上与 HT 相当，但在语义层面的表现却有所不足。

    Mar, 2024

  • 人工改写的参考文献改善神经机器翻译

    本文研究采用人工生成的同义词组进行翻译评估，结果表明使用同义词组可以更好地反映人类判断，同时使用同义词组进行系统开发可以产生显著的提高。

    Oct, 2020

  • 使用神经机器翻译预测人类翻译难度

    人工翻译人员的阅读和翻译速度能够被神经机器翻译（NMT）模型的意外性和注意力特征解释，意外性是翻译困难度最成功的预测因素之一。

    Dec, 2023

  • 跨语言情况下自然语言翻译和神经网络翻译的自动区分

    研究人员利用多语言数据和预训练的语言模型，成功开发出一种分类器，能够自动区分不同源语言翻译的人工翻译和机器翻译，发现使用少量数据训练的分类器的推广能力更好。

    May, 2023