EMNLPAug, 2019

机器翻译中指代研究：评估指标与测试套件

PDF
TL;DR该论文探究了神经机器翻译的应用，提出了一个新的评价措施，为代词翻译提供了一份多语言、多错误测试套件，并通过实验和用户研究得出了与人类判断相关的结果。
neural revolutionmachine translationlarger contextspronoun translationevaluation measure
发现论文，激发创造
  • 上下文感知的神经机器翻译学习指代消解

    我们引入了一种上下文感知的神经机器翻译模型，该模型可以控制和分析从扩展上下文到翻译模型的信息流，实验证明该模型改进了代词翻译和在指代方面进行了隐含捕获，而且不仅在指代性情况下有所改进，还提高了整体 BLEU 分数。

    May, 2018

  • 基于参考文献的自动代词翻译评估没抓住重点

    我们比较了 APT 和 AutoPRF 指标在代词翻译方面的性能，并将其与人工标注的数据集进行了比较。虽然与人工判断存在一定的相关性，但多种问题限制了自动指标的性能。因此，我们建议使用半自动的指标和测试套件代替完全自动的指标。

    Aug, 2018

  • 上下文神经机器翻译提高了指代前置代词的翻译

    本研究探讨了将未来句子作为上下文与使用过去句子作为上下文的翻译模型效果，结果表明使用未来句子作为上下文不仅可以显著改善翻译效果，而且在某些情況下比过去句子更有效。同时，我们还在特定情况下的测试中获得了显著的改善。

    Apr, 2020

  • BLEU 的黑箱：重新评估自动机器翻译评估指标

    研究了自动度量在机器翻译系统开发和评估中的问题，发现现有的判断度量方法对于用于评估的翻译非常敏感，特别是存在异常值的情况下，经常会导致关于指标作用的错误结论。研发了一种用于阈值性能提高的算法，可以模拟在与人工判定相比的情况下出现的 2 类误差。这些结果表明，需要改进度量评估和系统性能评估协议。

    Jun, 2020

  • 评测性别中性代词的翻译性别偏见

    本研究提出了一种用于评估机器翻译系统性别偏见的测试集方案，并构建了一组既不带有偏见性别也不过度偏向一侧的词组，然后通过该方案评估了传统机器翻译系统的性别偏见。

    May, 2019

  • 融合损失的代词目标定向 NMT 微调

    本研究引入了一类新的条件生成 - 判别混合 Loss，用于微调经过训练的机器翻译模型，通过有针对性的微调目标和直观地重复利用训练数据，从而在不使用任何其他数据的情况下提高了模型的性能。我们针对代词翻译问题进行微调，并在代词基准测试集上对模型进行评估。结果表明我们的模型在几个测试集上都实现了较高的 BLEU 分数，特别是在 IWSLT13 De-En testset 上达到了最佳效果。同时我们还在 Fr-En 和 Cs-En 上重现了该方法的改进效果。

    Oct, 2020

  • 机器翻译评估概述

    自 20 世纪 50 年代以来，机器翻译 (MT) 已成为人工智能和开发的重要任务之一，并经历了几个不同阶段的发展，随着这些发展，评估方法在统计翻译和神经翻译研究中扮演着重要角色，该报告概述了评估方法的发展历程、研究方法分类和最新进展，并包括参考翻译的手动评估和自动评估方法。

    Feb, 2022

  • HilMeMe: 一种基于人机交互的机器翻译准确度度量方法，关注多词表达

    本文介绍了一种基于多词表达式的人机协作评估度量方法，旨在评估机器翻译系统中多词表达式的准确性和语义等价性，以此作为评估机器翻译系统的指标。

    Nov, 2022

  • 在段落级别上训练和元评估机器翻译评估指标

    机器翻译中，自动评估指标在评分更长的翻译文本方面的有效性仍不清楚。本文提出了一种通过现有句子级数据创建段落级数据用于训练和元评估指标的方法，并利用这些新数据集对现有句子级指标进行基准测试，以及在段落级训练学习指标。有趣的是，我们的实验结果表明，使用句子级指标评分整个段落与使用专为段落级工作的指标同样有效。我们推测这一结果可能归因于基于参考的评估任务的特性以及数据集在捕捉段落级翻译中发生的各种现象方面的局限性。

    Aug, 2023

  • 神经机器翻译是否从更大的上下文中受益？

    本文提出了一种神经机器翻译架构，该架构不仅针对源语句进行建模，还考虑到上下文信息，这种方法尤其适用于小型语料库的翻译任务，不仅改进了常规翻译质量，还提出了适用于代词预测的基于注意力的神经机器翻译方法，与其他针对该任务进行设计的方法相比具有更好的表现。

    Apr, 2017