Apr, 2020

评估人机语言翻译平衡性的建议

PDF
TL;DR研究发现 2018 年 Hassan 等人的评估设计有问题，导致其认为人工翻译和机器翻译有同等水平的结论不准确，因此需要重新审视现有的评估方法，并且提出了一系列改进建议。
machine translationhuman-machine parityevaluation designlinguistic contextreference translations
发现论文，激发创造
  • 人工神经网络翻译中人类表现的重新评估：实现不可实现的目标？

    本文重新评估了一项最近的研究 (Hassan et al.,2018)，即使用成对排序法并考虑到三个变量，重申机器翻译在从中文到英文的新闻翻译方面已达到人类水平，我们提供了一组人类评估未来机器翻译的建议。

    Aug, 2018

  • 自动中英文新闻翻译达到人类水平

    该篇论文讨论了机器翻译的发展与挑战，评估了微软近期机器翻译系统在中英新闻翻译中的表现，结果显示该系统已经能够达到人类专业翻译水平。

    Mar, 2018

  • 机器翻译达到人类水平了吗？文档级别评估的案例分析

    在文档级翻译评估中，人类对于独立句子评价更偏向于人类翻译而非机器翻译，强调了机器翻译向文档级评价迈进的必要性。

    Aug, 2018

  • WMT 2019 中机器翻译人类水平与超人表现的重新评估

    本文重新评估 WMT 2019 机器翻译任务中英德、英俄和德英三个方向人工翻译水平与超人类水平的声明，发现除了英德方向人类翻译水平与机器翻译持平外，其他所有声明都被推翻，并提出了启示和未来评估的开放性问题。

    May, 2020

  • 专家、误差与上下文：人工评估机器翻译的大规模研究

    研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果不同，人工翻译的结果被明显偏爱，但自动评估指标基于预训练嵌入的表现也足以胜过人工众包评估，为今后的研究提供公共语料库。

    Apr, 2021

  • 人工改写的参考文献改善神经机器翻译

    本文研究采用人工生成的同义词组进行翻译评估，结果表明使用同义词组可以更好地反映人类判断，同时使用同义词组进行系统开发可以产生显著的提高。

    Oct, 2020

  • PARIKSHA：多语言和跨文化数据上人类 LLM 评估者一致性的大规模调查

    本研究评估了多语种大型语言模型的性能，发现 GPT-4o 和 Llama-3 70B 模型在大多数 Indic 语言中表现最佳。我们构建了两个评估设置的排行榜，并分析了人类评估和语言模型评估之间的一致性，发现在两两比较的设置下，人类和语言模型的一致性较高，但在直接评估中特别是对于孟加拉语和奥迪亚语等语言，一致性下降。我们还检测了人类和语言模型评估中的各种偏见，并发现 GPT 评估器存在自我偏见。本研究对多语种大型语言模型的评估具有重要意义。

    Jun, 2024

  • 评估最佳参考翻译

    使用 “最佳参考翻译” 文档级可靠翻译的方法，我们提出了一种针对高资源环境中翻译质量的方法，并发现了评估与翻译编辑之间的关系。

    Nov, 2023

  • 探究人机评估并行口语翻译的相关性

    评估口译服务的表现是一项复杂的任务，尤其是在应用自动评估方法时，本研究旨在通过分析自动度量与人工评估之间的相关性来评估同传口译的可靠性，结果表明 GPT 模型，特别是 GPT-3.5 具有最强的语义相似性相关性，即使在评估短文本片段时也是如此。

    Jun, 2024

  • 不同语言配对机器翻译的一致人工评估

    提出一种新的指标 XSTS，用于语义等效性评估，以及一种跨语言校准方法，旨在解决人类评估过程中存在的问题。在涉及 14 种语言对的大规模评估中进行验证，证明了其有效性。

    May, 2022