Sep, 2022

扩展基于单词的质量评估以供后期编辑辅助

PDF
TL;DR本文提出了一种称为扩展单词对齐的新概念，以提高后编辑辅助效率，并应用于一项新任务 - 精化的单词级质量评估。文章采用基于 mBERT 的监督方法提取扩展单词对齐，用回归模型训练 mBERT 和 XLM-R 进行序列标注来解决单词级质量评估问题，并通过扩展单词对齐实现对原单词标签的精化。实验结果表明，该方法可行并为进一步改进提供灵感。
extended word alignmentpost-editing assistanceword-level qesupervised methodmbert
发现论文，激发创造
  • 基于 Levenshtein 距离的词级别质量估计训练

    本研究提出了一种新颖的方案，即使用 Levenshtein Transformer 对单词级别的翻译质量评估任务进行处理，并通过两阶段的迁移学习过程和启发式方法来解决数据匹配问题，针对 WMT 2020 QE 数据集，该方法在数据限制的情况下具有更高的数据效率。

    Sep, 2021

  • 重新思考基于人工判断的机器翻译单词质量评估

    该论文旨在通过自监督的预训练方法以及标记修正策略，提高机器翻译的质量估计，避免传统质量评价准则的局限性，并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。

    Sep, 2022

  • NJUNLP 参加 WMT2023 质量评估共享任务

    我们介绍了 NJUNLP 团队在 WMT 2023 质量估计（QE）共享任务中的提交。我们的团队针对英德语言对，对两个子任务进行了预测:（i）句子和单词级质量预测；（ii）细粒度错误跨度检测。今年，我们在 NJUQE 框架上进一步探索了基于伪数据方法的 QE。我们使用 WMT 翻译任务的平行数据生成伪 MQM 数据。我们在伪 QE 数据上对 XLMR 大模型进行预训练，然后在真实 QE 数据上进行微调。在这两个阶段，我们同时学习句子级分数和单词级标签。通过实验证明，我们进行了实验以找到提高性能的关键超参数。在技术上，我们提出了一种简单的方法，将单词级输出转换为细粒度错误跨度结果。总的来说，我们的模型在英德语言对的单词级和细粒度错误跨度检测子任务中取得了最佳结果，并且差距明显。

    Sep, 2023

  • 跨语言 Transformer 多语言词级质量评估的探索性分析

    本文探讨了以往机器翻译的词汇质量评估模型的局限性，并提出了基于强大的预训练 Transformer 模型的跨语言通用性的词汇质量评估模型，证明其在跨语言模型训练、零样本 / 少样本数据归集的情况下，很好地泛化了，并且在实际应用中具有更广泛的应用前景。

    May, 2021

  • 针对低资源语言的不匹配感知无监督翻译质量评估

    本文提出了一种简单的无监督翻译质量评估方法 XLMRScore，该方法基于使用 XLM-RoBERTa 模型计算的 BertScore，并讨论了使用此方法时出现的问题。接着，我们提出两种方法来缓解问题，并将所提出的方法用于四个 WMT21 QE shared task 中的低资源语言对以及本文介绍的一个新的英语 - 波斯语测试数据集。实验表明，在两个零 - shot 场景下，我们的方法可以获得与有监督基线相当的结果，即 Pearson 相关性差异小于 0.01，在所有低资源语言对中的表现均优于无监督对手，平均超过 8％。

    Jul, 2022

  • 机器翻译质量估计的实用视角

    本研究旨在提高机器翻译句子水平的翻译编辑速率预测，提出了句子水平的质量分类（QC）观点，以优化召回率，并通过二进制分类器的使用可将后编辑工作量减少至 50-60％。

    May, 2020

  • 基于多语言 BERT 的跨语言跨度预测监督式词对齐方法

    本文提出了一种基于跨语言跨度预测的新型监督词对齐方法，使用基于多语言 BERT 的 SQuAD v2.0 风格问答任务解决了此问题，并在中英、日、德、罗、法等五个词对齐数据集上实验证明，该方法显著优于以前的监督和非监督方法，而无需使用双语语料进行预训练。

    Apr, 2020

  • 从手工特征到 LLMs：机器翻译质量估计的简要调查

    机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。

    Mar, 2024

  • 作为基础提取的翻译错误检测

    使用先进的特征归属方法对最新的品质预估模型进行了探讨，发现训练有素的句子级别品质估测模型可以用于检测翻译错误，并提出了一种新的半监督词级别品质估测方法。该研究还将品质估测任务提出作为一个用于评估特征归属的新基准。

    Aug, 2021

  • 使用精调的 OpenAI LLM 预测机器翻译输出中的完美质量段落：是否能从历史数据中捕捉编辑距离模式？

    大型语言模型可进行细调从而在翻译质量评估方面取得较高的预测准确性。

    Jul, 2023