May, 2023

提升语音翻译指标

PDF
TL;DR本文介绍了一种叫做 Parallel Paraphrasing 的翻译度量扩展方法，它利用参考和猜想的自动改写。这种方法对于只有一个参考的语音翻译度量（如 WER，CER 和 BLEU）的误导性结果进行了抵消。我们引入了两个新数据集，专门用于评估适用于瑞士德语语音转文本系统的测试的质量。基于这些数据集，我们展示了如果我们将该方法应用于常用测试中，我们能够显著提高与人类质量感知的相关性。
parallel paraphrasingtranslation metricsautomatic paraphrasingspeech-to-text systemscorrelation
发现论文，激发创造
  • 人工改写的参考文献改善神经机器翻译

    本文研究采用人工生成的同义词组进行翻译评估，结果表明使用同义词组可以更好地反映人类判断，同时使用同义词组进行系统开发可以产生显著的提高。

    Oct, 2020

  • 不是所有指标都有罪：利用 LLM 改进 NLG 评估的修辞转换技术

    本文提出了 Para-Ref，一种通过利用大型语言模型进行重新创作来增强现有自然语言生成评估基准的新方法，并在机器翻译、文本摘要和图像标题等任务中的实验结果表明，该方法能够通过多个高质量的参考文本使人工评估结果与 16 种自动评估指标之间的相关度提高了 7.82%。

    May, 2023

  • 提高 BLEU 参考覆盖率的多样化自动释义研究

    通过现代神经转述技术研究 BLEU 误差函数在单一参考翻译文本下的局限性，探索使用多样化、针对性的参考翻译文本来提高 BLEU 与人类评价的相关性，实验结果表明多样化的自动生成的参考翻译文本的确能够改进 BLEU 的表现，但特定针对被评估机器翻译输出的有效翻译文本的设计也能进一步提高 BLEU 的性能表现，一些强有力的采样方法甚至能够击败人工生成的参考翻译文本。

    Apr, 2020

  • 使用双向蕴涵的机器翻译评估

    本文提出了一种基于双向蕴含的机器翻译评估新指标，利用深度学习实现候选和参考翻译之间的语义相似度评分，应用于 WMT'14 和 WMT'17 数据集，与传统指标相比在系统级别上具有更好的与人工注释评分的相关性。

    Nov, 2019

  • BLEU 或许有罪但参考文献并不无辜

    本研究通过比较不同收集参考文献的方法，找到了提高机器翻译自动测量与人工评估相关性的关键。同时，提出了基于语言学家的改写任务，解决了传统参考文献的单调性问题，它不仅能够提高 WMT 2019 英德翻译的相关性，而且对于后翻译和 APE 增强的 MT 输出，同样具有良好的表现。

    Apr, 2020

  • 关于释义生成的评估度量

    本文重新审视了用于复述评估的自动评估度量，并得出两个违背常规智慧的发现：(1) 无参考度量比基于参考文本的度量具有更好的性能。 (2) 人类注释与使用最多的度量不太相符。通过额外的实验证明和深入的分析探讨了上述发现背后的原因。 基于实验和分析，我们提出了 ParaScore，这是一种新的复述生成评估指标。它具有基于参考的和无参考的指标的优点，并明确地建模词汇差异。实验结果证明，ParaScore 显着优于现有的指标。

    Feb, 2022

  • ParaCotta: 来自最具多样性的翻译样本对的合成多语言释义语料库

    使用神经机器翻译系统，通过 beam search 生成多个候选翻译样本，选择词汇最多样化的一对生成句式相似，语义丰富、跨 17 种语言的人工合成平行释义语料库，并用 BLEU 对比了其与 ParaBank2，结果表明其生成的句子语义类似而且词汇丰富度较高。

    May, 2022

  • 非平行文本转换的无监督评估指标和学习标准

    该研究提出了一种自动生成文本释义并修改其属性或属性的方法，解决了 “无对照数据” 的问题，利用多种模型进行实验并给出新的损失函数和训练策略，提高了语义保留和流畅度，该方法能够显著提高基准方法。

    Oct, 2018

  • 在联合多语言空间中过滤和挖掘并行数据

    通过联合多语句嵌入学习并利用在不同语言中句子之间的距离来过滤嘈杂的平行数据和在大型新闻集合中挖掘平行数据。不同于翻译系统的体系结构，这种方法可以应用于多种语言对，并在 BUCC 共享任务中获得有竞争力的结果，用于识别可比较语料库中的平行句子。

    May, 2018

  • 通过零样式改写实现多语言自动机器翻译评估

    使用序列到序列的释义器作为人类参考的评估工具，将机器翻译评估任务转化为对机器翻译输出进行评分的任务。通过将释义技术视为零射任务，将释义器训练为多语言 NMT 系统，并将其应用于质量估计任务中，以条件化源，而不是参考，发现其在各种语言对中的表现均优于 WMT 2019 质量评估任务中的所有其他度量标准。

    Apr, 2020