Mar, 2022

翻译者可靠性评估的贝叶斯方法

PDF
TL;DR本文通过基于复杂系统物理和贝叶斯范畴的方法，考虑了机器翻译的翻译质量评估问题，并比较了两种不同的参数化模型。结果表明，即使仅仅进行一次评估，也可以从中获得有意义的信息，如译者技能和评估者的严格度，以及他们在各自角色中的一致性。此外，研究表明，即使是专家译者也可能会出现认知偏差，因此评估者的可靠性也并不能保证，但最专业的翻译者具有最高水平的一致性。
translation quality assessmentbayesian modelstranslation difficultytranslators' skillsreviewers' strictness
发现论文，激发创造
  • 机器翻译质量评估中的预测不确定性探讨

    探索概率方法来提高机器翻译质量评估，提供良好的置信度估计，并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息，从而捕捉翻译工作流程中的典型情况。

    Jun, 2016

  • 双语专家” 能够找出翻译错误

    提出了一种基于双向 Transformer 和双向 LSTM 预测模型的机器翻译自动评估框架，能够对 WMT 的翻译结果进行质量评估，并在 WMT 2017/2018 的质量评估任务中取得了最好的性能表现。

    Jul, 2018

  • 推动正确按钮：对质量评估的对抗性评估

    该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法，通过研究近期最优设备的评价体系，发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时，该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别，并探讨了这种方法对于评估系统的多个领域可能产生的影响以及评估结果可行性的可比性。

    Sep, 2021

  • 神经机器翻译的无监督质量评估

    提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

    May, 2020

  • 医生对机器翻译中的临床危害的检测：质量估计有助于信赖和反向翻译发现关键错误

    机器翻译的实际应用中一个重要的挑战是用户缺乏决策指导，本文通过在高风险的医疗环境中模拟决策过程，评估了质量估计反馈对决策的影响，发现质量估计提高了适当依赖机器翻译的能力，但与仅使用质量估计相比，后翻译帮助医生发现了更多常常被质量估计忽视的临床上有害的错误。

    Oct, 2023

  • 从手工特征到 LLMs：机器翻译质量估计的简要调查

    机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。

    Mar, 2024

  • 不确定性感知的机器翻译评估

    本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗 dropout 和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自 QT21 数据集和 WMT20 度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

    Sep, 2021

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 基于分类的质量评估：用于实际应用的小型高效模型

    我们研究了句子级机器翻译的质量估计 (QE) 问题，发现传统的基于回归的方法以及基于压缩模型的方法都不能很好地解决实际应用中的问题，而基于分类的方法可以更好地反映他们在实际应用中的性能表现。

    Sep, 2021

  • 重温循环翻译以进行质量评估

    本文介绍了一种利用语义嵌入进行往返翻译的质量估计技术，相较于以往的 WMT 2019 质量估计任务提交的方法，我们的方法与人类判断之间的相关性最高，且在往返翻译选择上表现鲁棒性较佳。此外，该方法能够针对 SMT 和 NMT 等多种类型的前向翻译模型进行一致的性能表现。

    Apr, 2020