Nov, 2023

评估方言机器翻译度量的基准（无标准拼写法）

PDF
TL;DR评估自然语言处理中评价指标对非标准化方言的鲁棒性，发现现有指标在对瑞士德语文本生成输出的评估上存在困难，提出了增加鲁棒性的初步设计方案。
发现论文，激发创造
  • 生成文本方言鲁棒性评估

    通过引入 NANO 的训练过程，提高了评估领域的方言鲁棒性和意识，拓展了标准度量基准，解决了南北方言差异和语义波动的问题。

    Nov, 2022

  • CODET: 机器翻译方言对比评估基准

    通过发布一个对比方言基准数据集，我们量化展示了大型 NMT 模型在有效翻译方言变体时面临的挑战。

    May, 2023

  • 针对混合语言自动语音识别的基准评估指标

    研究了多语种自动语音识别中的代码切换问题，提出了基于人工判断的评价指标，并通过多种指标的比较得到了最优方法 —— 采用音译和文本规范化，同时发布了第一个阿拉伯语 / 英语对话语境中人类接受度的语料库。

    Nov, 2022

  • 评估语音翻译的评估指标

    本文评估了目前针对语音翻译的指标，并评估了不同评估方法在方言变体翻译上的影响。同时表明先前使用的自动度量标准最适合于标准化高资源语言。

    Oct, 2021

  • 使用增量机器翻译系统评估自动评估衡量标准

    我们介绍了一个数据集，它包含了在 12 个翻译方向上，在六年时间内每周收集的商业机器翻译。我们假设商业系统会随着时间改进，这使我们能够评估基于对最近翻译的偏好的机器翻译度量标准。我们的研究确认了机器翻译度量研究中的几个之前的发现，并展示了该数据集作为度量评估的测试平台的价值。我们将我们的代码发布在此 https URL

    Jul, 2024

  • 低资源口音方言的机器翻译：规范瑞士德语的策略

    设计了一种机器翻译系统，使用字符级神经网络翻译文本，并结合基于短语的统计翻译，实现了对伯尔尼方言的 36% BLEU 得分的翻译。这些资源和规范化技术是通向瑞士德语方言全面机器翻译的第一步。

    Oct, 2017

  • 多语言自动对话评估

    通过使用机器翻译来增强现有的英文对话数据，我们提出了一个绕过数据缺乏问题的方法，用于开发鲁棒的多语言对话评估指标，并通过实验证明，与仅使用源数据微调多语言模型的强基线相比，仅仅使用翻译数据微调预训练的多语言编码器模型的天真方法无法取得更好的性能。相反，最佳方法是通过使用机器翻译质量估计度量仔细策划翻译数据，排除低质量翻译对其性能的影响。

    Aug, 2023

  • 困难感知机器翻译评估

    提出一种考虑翻译难度的机器翻译评估方法，结果显示在 WMT19 上表现出色。

    Jul, 2021

  • IndicMT Eval：用于评估印度语机器翻译度量的数据集

    本文旨在创建一个 MQM 数据集，以系统地评估 7 个机器翻译系统中 5 种印度语言的翻译质量，并探讨自动化评估指标和人工评分之间的相关性。结果表明预先训练的指标 COMET 与人工评分相关性最高，但这些指标并未恰当地捕捉印度语言中的流畅性错误，因此需要开发注重印度语言的度量指标。

    Dec, 2022

  • 探究自动机器翻译度量评估中的数据差异

    该研究发现自动翻译评价指标的表现对数据具有敏感性，而在评估时需要考虑数据差异，因为单一数据集的研究结果可能会导致与大多数其他数据集不一致的结果。

    Mar, 2022