Jun, 2024

零射击机器翻译评估对于印度低资源语言有多好？

PDF
TL;DR机器翻译评估在高资源语言上的研究已有所涉及，但基于近期数据和模型的增加，对低资源语言的评估也引起了兴趣。本文针对低资源的印度语言，即阿萨姆语、卡纳达语、迈蒂利语和旁遮普语，通过收集足够的多维度质量度量和直接评估注解，构建测试集并使用元评估方法对大量的自动评估度量进行评估。研究发现，即使对于已知具备零样本性能的学习度量，其与人类注解的肯德尔 τ 和皮尔逊相关系数仅有 0.32 和 0.45。合成数据方法显示了各种结果，总体上并没有在这些语言中有太大的帮助。这表明在低资源评估方面还有很长的路要走。
machine translation evaluationlow-resource languageszero-shot evaluation settingindian languagesautomatic evaluation metrics
发现论文，激发创造
  • IndicMT Eval：用于评估印度语机器翻译度量的数据集

    本文旨在创建一个 MQM 数据集，以系统地评估 7 个机器翻译系统中 5 种印度语言的翻译质量，并探讨自动化评估指标和人工评分之间的相关性。结果表明预先训练的指标 COMET 与人工评分相关性最高，但这些指标并未恰当地捕捉印度语言中的流畅性错误，因此需要开发注重印度语言的度量指标。

    Dec, 2022

  • 提高低资源语言的零 - shot 翻译

    本文提出一种简单的迭代训练过程，利用系统直接生成的翻译对零 - shot 方向进行翻译，以及原始并行数据，来重新训练多语言网络，有效提高了多语言模型的 BLEU 分数，并且在非零 - shot 语言方向上的性能也略有提升。

    Nov, 2018

  • 通过零样式改写实现多语言自动机器翻译评估

    使用序列到序列的释义器作为人类参考的评估工具，将机器翻译评估任务转化为对机器翻译输出进行评分的任务。通过将释义技术视为零射任务，将释义器训练为多语言 NMT 系统，并将其应用于质量估计任务中，以条件化源，而不是参考，发现其在各种语言对中的表现均优于 WMT 2019 质量评估任务中的所有其他度量标准。

    Apr, 2020

  • 面向大型语言模型驱动的无参考翻译评估方法：英语和印度语言

    本研究评估大型语言模型对于自动无参考翻译评估的有效性，并通过模拟人类直接评估的实验来评估英语和印度语言译文的质量。通过构建一个翻译评估任务，我们进行了零样本学习、上下文示例驱动学习和大型语言模型微调，从而提供了一个 0 到 100 的分数，其中 100 表示完美的翻译，1 表示糟糕的翻译。我们将经过训练的系统与现有方法（如 COMET、BERT-Scorer 和 LABSE）进行比较，发现基于大型语言模型的评估器（LLaMA-2-13B）在考虑的印度语言对上实现了相当或更高的整体相关性与人类判断。

    Apr, 2024

  • 面向南部非洲语言的低资源神经机器翻译

    通过比较零 - shot 学习、迁移学习和多语言学习在三种班图语（Shona、IsiXhosa 和 IsiZulu）和英语翻译中的表现，我们展示了语言相似性对英语到 isiZulu 的迁移学习性能的重要性，并证明多语言学习在我们的数据集上优于迁移学习和零 - shot 学习，其最佳模型相对于基线英语到 isiZulu 模型的 BLEU 得分提高了 9.9、6.1 和 2.0，同时超过了之前的最佳表现。

    Apr, 2021

  • 探索语言相似性和零样本学习用于德拉维多语言的多语种翻译

    通过利用音译和语言相似性，本研究构建了一个单一编解码器神经机器翻译系统，用于 Dravidian-Dravidian 多语言翻译和零翻译；通过限制词汇表使用优化传输技术，该模型在训练语言方向的 50％上达到了与大型基于引导的模型相差 3 个 BLEU 的分数。

    Aug, 2023

  • 多维机器翻译评估：韩语模型评估和资源

    通过提供一个英韩语言对的 1200 句 MQM 评估基准，将机器翻译评估重新定义为使用 SOTA 语言模型同时预测多个 MQM 分数的多任务问题，在参考 MT 评估和无参考质量估计（QE）设置中，我们发现无参考设置在风格维度上优于参考设置，而参考模型在准确性方面保持优势，总体上，RemBERT 是最有希望的模型。通过我们的评估，以一种更精细化、可解释的方式提供了关于翻译质量的见解。

    Mar, 2024

  • 机器翻译中印度语言的低资源状态再探讨

    本文提供并分析了一个用于印度语神经机器翻译系统的大规模多语言句子对齐语料库和强大基准的自动化框架，其中包括基线 NMT 系统，检索模块和用于公共网站的对齐模块，通过迭代增加语料库来改进系统。我们的工作还评估了设计选择，例如枢轴语言的选择和迭代式增量语料库增加的影响。与现有的印度语语料库相比，本工作不仅提供了自动化框架，还产生了一个相对较大的语料库。这个语料库使我们能够在公开的 WAT 评估基准和其他标准评估基准上获得明显改善的结果。

    Aug, 2020

  • 零样本双向机器翻译

    本研究提出了一种基于无监督学习和半监督学习的组合方法，将双重学习与零样本学习相结合，通过加强翻译任务的对偶性，并且只需要被翻译成的单一语言的单语数据，来优化机器翻译质量，结果表明该方法在零样本条件下英语、西班牙语和法语三者之间，取得了较传统 NMT 系统更好的翻译表现。

    May, 2018

  • 在印度尼西亚的低资源本地语言上复制性评测神经机器翻译 (NMT)

    通过对印尼四种资源匮乏的本土语言：爪哇语、巽他语、民丹・卡巴乌语和巴厘语的神经机器翻译系统进行全面分析，本研究揭示了适用于资源匮乏语言翻译的实用策略，展示了实现竞争性翻译品质的神经机器翻译系统，对类似背景的研究者提供了有价值的指导。

    Nov, 2023