EMNLPSep, 2019

SumQE：基于 BERT 的摘要质量评估模型

PDF
TL;DR提出了一种基于 BERT 的新型 Quality Estimation 模型 SumQE，其解决了仅通过基于内容的方法无法间接捕捉到的语言质量方面的问题。SumQE 达到了与人类评分非常高的相关性，胜过那些仅仅解决这些语言方面的较简单的模型。SumQE 模型的预测可用于系统开发，并通知用户自动生成的摘要和其他生成文本的质量。
发现论文，激发创造
  • 神经机器翻译的无监督质量评估

    提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

    May, 2020

  • 基于分类的质量评估：用于实际应用的小型高效模型

    我们研究了句子级机器翻译的质量估计 (QE) 问题，发现传统的基于回归的方法以及基于压缩模型的方法都不能很好地解决实际应用中的问题，而基于分类的方法可以更好地反映他们在实际应用中的性能表现。

    Sep, 2021

  • 机器翻译质量估计的实用视角

    本研究旨在提高机器翻译句子水平的翻译编辑速率预测，提出了句子水平的质量分类（QC）观点，以优化召回率，并通过二进制分类器的使用可将后编辑工作量减少至 50-60％。

    May, 2020

  • QuestEval: 基于事实的评估对于摘要很重要

    本文提出了一种称为 QuestEval 的新方法，通过问题回答模型评估摘要是否包含源文档中的所有相关信息，从而在一致性、连贯性、流畅性和相关性等四个评估维度上，显著改善了与人类判断的相关性，而不需要任何先验参考。

    Mar, 2021

  • 以问答形式作为自动度量指标，评估摘要的内容质量

    提出一种基于问答的评估度量标准（QAEval）来评估摘要的内容质量，通过分析 QAEval，证明 QA-based methods 相较于传统的基于文本内部匹配的度量标准（如 ROUGE）更加准确。

    Oct, 2020

  • 从手工特征到 LLMs：机器翻译质量估计的简要调查

    机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。

    Mar, 2024

  • 重新思考基于人工判断的机器翻译单词质量评估

    该论文旨在通过自监督的预训练方法以及标记修正策略，提高机器翻译的质量估计，避免传统质量评价准则的局限性，并通过人类专家的直接评注来构建不需要参考文献的数据集 HJQE 的实验结果证实了我们的方法的有效性。

    Sep, 2022

  • 重温循环翻译以进行质量评估

    本文介绍了一种利用语义嵌入进行往返翻译的质量估计技术，相较于以往的 WMT 2019 质量估计任务提交的方法，我们的方法与人类判断之间的相关性最高，且在往返翻译选择上表现鲁棒性较佳。此外，该方法能够针对 SMT 和 NMT 等多种类型的前向翻译模型进行一致的性能表现。

    Apr, 2020

  • 知识蒸馏用于质量评估

    为了调整预先训练的质量评估模型的体积，将强质量评估教师模型的知识直接转移到体积更小的模型中，并结合数据增强，得到了具有 8 倍更少参数的轻量级质量评估模型。

    Jul, 2021

  • 不排名，合并！使用质量估计组合机器翻译假设

    使用质量评估指标（QE）的方法 ——QE-fusion，能够利用候选池子中的不同候选结合 QE 度量，从而更好地对应人类判断，从而合成改进的翻译。QE-fusion 是一种与波束搜索和最新的重新排序技术（如最小贝叶斯风险解码和 QE - 重新排序）相比的方法，能在大型语言模型和多语种翻译模型上提高翻译质量。该方法在近半数的情况下生成了新颖的翻译，并在候选数量（5-200）不同的情况下始终优于其他方法。此外，实验证明 QE-fusion 与候选池中的候选数量呈线性关系，并且无需对大型语言模型进行昂贵的重新训练。

    Jan, 2024