Sep, 2022

QUAK：一份用于韩英神经机器翻译的合成质量估计数据集

PDF
TL;DR本文提出 QUAK, 是一个自动生成的合成 QE 数据集（包括三个子数据集），可用于提高机器翻译输出质量的自动预测。该数据集是通过三种相对自由的生成策略产生的，具有良好的可扩展性，已扩展到 1.58M 到 6.58M。对数据集进行统计分析后发现，QUAK-M，P 中添加数据可获得显著性能提升。
neural machine translationquality estimationsynthetic datasetscalabilityperformance improvement
发现论文，激发创造
  • 神经机器翻译的无监督质量评估

    提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

    May, 2020

  • 从手工特征到 LLMs：机器翻译质量估计的简要调查

    机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。

    Mar, 2024

  • 重新思考基于人工判断的机器翻译单词质量评估

    该论文旨在通过自监督的预训练方法以及标记修正策略，提高机器翻译的质量估计，避免传统质量评价准则的局限性，并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。

    Sep, 2022

  • MLQE-PE: 多语言质量估计和后编辑数据集

    MLQE-PE 为机器翻译质量评估和自动后编辑提供了新数据集，包含 11 种语言对，针对每种语言对的 10000 个翻译提供了人类标签，包括句子级别的直接评估和后编辑努力以及单词级别的好 / 坏标签，同时还提供了后编辑的句子、标题以及用于翻译文本的神经机器翻译模型。

    Oct, 2020

  • 利用合成数据和预训练多语言编码器的无监督翻译质量评估

    研究了使用合成 TQE 数据和预训练多语言编码器的无监督句子级 TQE 方法的可用性，发现该方法在预测后编辑工作量和人工评估分数方面优于其他无监督 TQE 方法，并且在预测后编辑工作量上优于零资源翻译方向。

    Nov, 2023

  • 没有比更好的数据更好的数据：使用质量度量对 MT 数据进行过滤

    使用质量评估（QE）指标过滤训练数据的句子对可以提高翻译质量并减少训练规模一半。

    Nov, 2023

  • 基于扰动的质量评估：一种可解释的无监督词级别黑盒机器翻译质量评估方法

    本研究提出基于扰动的无监督学习方法，用于评估黑盒机器翻译模型的质量，表现出更好的泛化能力和解释性。

    May, 2023

  • 关于使用平行数据进行翻译质量评估的研究

    本文重点研究了机器翻译的质量估计，通过对比使用不同方向的平行数据在数据增强方面的影响，发现使用原文作为源数据可以带来相对较好的效果。

    Dec, 2022

  • 基于不确定性量化增强的神经机器翻译质量评估：超越玻璃盒特征

    本文将 “玻璃箱质量评估” 方法推广到黑箱和玻璃箱方法的不确定性量化，提出了基于预训练的跨语言语言模型的不确定性量化特征工程框架，并在 WMT 2020 QE 共享任务数据集上取得了最先进的性能。

    Sep, 2021

  • 知识蒸馏用于质量评估

    为了调整预先训练的质量评估模型的体积，将强质量评估教师模型的知识直接转移到体积更小的模型中，并结合数据增强，得到了具有 8 倍更少参数的轻量级质量评估模型。

    Jul, 2021