Jun, 2017

神经网络与基于短语的机器翻译的细粒度人类评估

PDF
TL;DR本研究通过错误标注的方法比较了三种统计机器翻译方法（基于短语、因式分解基于短语和神经网络），结果显示最佳性能的神经网络系统比最差性能的基于短语系统减少了 54% 的错误，而错误类型符合多维质量度量标准（MQM）。
statistical machine translationpure phrase-basedfactored phrase-basedneuralmultidimensional quality metrics
发现论文，激发创造
  • 机器翻译系统的定量细致人类评估：以英语到克罗地亚语为例的案例研究

    本文提出了一种基于多维质量度量（Multidimensional Quality Metrics，MQM）误差分类的手动评估方法，以评估不同机器翻译系统之间的性能差异是否显著，针对英语到克罗地亚语这一翻译方向，比较了纯基于短语的、分解短语的和神经网络三种不同范例的机器翻译系统，发现神经网络机器翻译方法在长距离一致现象的处理方面具有特别的有效性。

    Feb, 2018

  • 神经机器翻译与基于短语的机器翻译在 9 个语言方向上的多方面评估

    本文评估了新兴的神经机器翻译系统和基于短语的机器翻译系统在九种语言方向上的表现，发现相对于基于短语的系统，神经机器翻译系统翻译更为流畅和准确，但在翻译超长句子时表现差。

    Jan, 2017

  • 神经网络与基于短语的机器翻译质量比较：一个案例研究

    本文分析了神经网络机器翻译（NMT）与基于短语的机器翻译（PBMT）在英语 - 德语翻译数据集上的表现，从专业翻译的高质量后编辑结果中发现神经网络机器翻译在表述动词重新排序等语言现象时具有更好的建模能力，但仍有需要改进的方面。

    Aug, 2016

  • 专家、误差与上下文：人工评估机器翻译的大规模研究

    研究机器翻译质量评估的难点在于缺乏标准程序及评估方法的计量问题。本研究提出一套基于明示错误分析及 MQM 框架的评估方法，并应用于 WMT 2020 挑战赛的两个语言对中来自高水平机器翻译模型的输出进行评估。评估结果与 WMT 众包评估结果不同，人工翻译的结果被明显偏爱，但自动评估指标基于预训练嵌入的表现也足以胜过人工众包评估，为今后的研究提供公共语料库。

    Apr, 2021

  • 内部故事：迈向更好理解机器翻译神经评估指标

    本文研究了神经度量与传统度量方法在评估机器翻译中的差异，并开发了多种神经可解释性方法来解释这些度量方法，并证明这些方法能够有效地分析翻译错误，促进未来的研究。

    May, 2023

  • 神经网络进行机器翻译评估

    使用神经网络在配对设置下进行机器翻译评估的框架，以从一对假设中选择更好的翻译为目标。该框架将参考和两个假设的词汇、句法和语义信息嵌入到紧凑的分布式向量表示中，并提供了一个与人类判断相关的 MT 评估度量。

    Oct, 2017

  • 神经网络机器翻译的两两评估

    本文介绍一种利用神经网络在成对翻译评估中选出最佳翻译的新方法，该方法基于单词和句子嵌入形成紧凑的分布式向量表示，并利用多层神经网络对参考文本和两个翻译之间的交互进行建模，从而可以高效地学习和分类，且与人类评估结果的相关性不亚于当前技术水平的最高水平。

    Dec, 2019

  • 字符级神经机器翻译的语法性如何？通过对比翻译对评估机器翻译质量

    通过对神经机器翻译实现对特定语言现象的质量评估，我们提出了一种新方法并给出了包含 97000 对用于 WMT 英语 -> 德语翻译任务的对照翻译数据集 LingEval97，对字符级别和字节对编码（BPE）分割模型的实验结果显示，前者在翻译转写方面表现更好，但在形态句法协议和翻译非连续的意义单元方面表现较差。

    Dec, 2016

  • QCRI IWSLT 16 机器翻译系统

    本文介绍了 QCRI 针对 IWSLT 2016 的机器翻译系统。作者们建立了基于短语和神经网络的机器翻译模型，并比较了两种模型在阿拉伯语 - 英语语言对中性能的表现。研究结果表明，在阿拉伯语 - 英语翻译中，神经网络模型的 BLEU 值比基于短语的模型高 2 点。作者还将两种模型的输出进行了系统组合。

    Jan, 2017

  • 神经机器翻译质量与后编辑表现

    本研究测试了在专业翻译中使用神经机器翻译（NMT）是否能够节省人工处理时间，并发现更好的 MT 系统确实能够减少英文到捷克文翻译过程中的修改次数，但是质量和编辑时间之间的关系并不是直接的关系，并且与短语词汇表机器翻译不同的是，BLEU 不能稳定预测时间或最终输出质量。

    Sep, 2021