Sep, 2022

重新思考基于人工判断的机器翻译单词质量评估

PDF
TL;DR该论文旨在通过自监督的预训练方法以及标记修正策略，提高机器翻译的质量估计，避免传统质量评价准则的局限性，并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。
quality estimationmachine translationtranslation error ratehuman judgementpre-training
发现论文，激发创造
  • 机器翻译质量估计的实用视角

    本研究旨在提高机器翻译句子水平的翻译编辑速率预测，提出了句子水平的质量分类（QC）观点，以优化召回率，并通过二进制分类器的使用可将后编辑工作量减少至 50-60％。

    May, 2020

  • 神经机器翻译的无监督质量评估

    提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

    May, 2020

  • 从手工特征到 LLMs：机器翻译质量估计的简要调查

    机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。

    Mar, 2024

  • 推动正确按钮：对质量评估的对抗性评估

    该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法，通过研究近期最优设备的评价体系，发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时，该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别，并探讨了这种方法对于评估系统的多个领域可能产生的影响以及评估结果可行性的可比性。

    Sep, 2021

  • 基于扰动的质量评估：一种可解释的无监督词级别黑盒机器翻译质量评估方法

    本研究提出基于扰动的无监督学习方法，用于评估黑盒机器翻译模型的质量，表现出更好的泛化能力和解释性。

    May, 2023

  • 质量估计之穷人版：在没有参考文本的情况下预测基于参考文本的机器翻译度量

    本文提出了一种基于预训练模型的机器翻译质量评估方法，通过度量预测模型评分来进行质量评估并为人工评估模型提供预训练；实验结果表明，该方法在无需参考标准情况下依然可以上可接受的精度，但也存在一定的局限性。

    Jan, 2023

  • 作为基础提取的翻译错误检测

    使用先进的特征归属方法对最新的品质预估模型进行了探讨，发现训练有素的句子级别品质估测模型可以用于检测翻译错误，并提出了一种新的半监督词级别品质估测方法。该研究还将品质估测任务提出作为一个用于评估特征归属的新基准。

    Aug, 2021

  • 没有比更好的数据更好的数据：使用质量度量对 MT 数据进行过滤

    使用质量评估（QE）指标过滤训练数据的句子对可以提高翻译质量并减少训练规模一半。

    Nov, 2023

  • 双语专家” 能够找出翻译错误

    提出了一种基于双向 Transformer 和双向 LSTM 预测模型的机器翻译自动评估框架，能够对 WMT 的翻译结果进行质量评估，并在 WMT 2017/2018 的质量评估任务中取得了最好的性能表现。

    Jul, 2018

  • 重温循环翻译以进行质量评估

    本文介绍了一种利用语义嵌入进行往返翻译的质量估计技术，相较于以往的 WMT 2019 质量估计任务提交的方法，我们的方法与人类判断之间的相关性最高，且在往返翻译选择上表现鲁棒性较佳。此外，该方法能够针对 SMT 和 NMT 等多种类型的前向翻译模型进行一致的性能表现。

    Apr, 2020