ACLOct, 2022

FRMT：用于少样本区域感知机器翻译的基准测试

PDF
TL;DRFRMT 是一个新的数据集和评估基准，针对少样本区域感知机器翻译。该数据集包括英语到葡萄牙语和汉语各两种地区变种的专业翻译。我们为该任务提供了基线模型和训练、评估、比较的准则。
few-shotregion-awaremachine translationfrmtevaluation benchmark
发现论文，激发创造
  • CODET: 机器翻译方言对比评估基准

    通过发布一个对比方言基准数据集，我们量化展示了大型 NMT 模型在有效翻译方言变体时面临的挑战。

    May, 2023

  • M3T: 多模文档级机器翻译的新基准数据集

    本文介绍了 M3T，这是一个新颖的基准数据集，旨在评估 NMT 系统在翻译半结构化文档的全面任务上的表现，并解决了现实世界应用中丰富文本布局所带来的挑战。

    Jun, 2024

  • FAME-MT 数据集：机器翻译中简化形式意识的实现

    该研究关注机器生成翻译的正式程度，并介绍了 FAME-MT 数据集，该数据集包含 112 个欧洲语言对之间的 1120 万个翻译样本，旨在通过该数据集在欧洲目标语言中调整机器翻译模型的正式程度。

    May, 2024

  • FLORES-101 低资源和多语言机器翻译评估基准

    本文介绍了 FLORES-101 评估基准，该数据集由 3001 句从英文维基百科中提取出来的涵盖各种主题和领域的句子，在 101 种语言中由专业翻译人员进行翻译。该数据集可用于评估低资源语言和多对多多语言翻译系统的模型质量。

    Jun, 2021

  • 使用增量机器翻译系统评估自动评估衡量标准

    我们介绍了一个数据集，它包含了在 12 个翻译方向上，在六年时间内每周收集的商业机器翻译。我们假设商业系统会随着时间改进，这使我们能够评估基于对最近翻译的偏好的机器翻译度量标准。我们的研究确认了机器翻译度量研究中的几个之前的发现，并展示了该数据集作为度量评估的测试平台的价值。我们将我们的代码发布在此 https URL

    Jul, 2024

  • 多维机器翻译评估：韩语模型评估和资源

    通过提供一个英韩语言对的 1200 句 MQM 评估基准，将机器翻译评估重新定义为使用 SOTA 语言模型同时预测多个 MQM 分数的多任务问题，在参考 MT 评估和无参考质量估计（QE）设置中，我们发现无参考设置在风格维度上优于参考设置，而参考模型在准确性方面保持优势，总体上，RemBERT 是最有希望的模型。通过我们的评估，以一种更精细化、可解释的方式提供了关于翻译质量的见解。

    Mar, 2024

  • FFR v1.1：法语 - 法语言机翻译

    本研究介绍了一种从低资源语言 Fon 翻译成法语的神经机器翻译模型，通过描述 FFR 数据集、语音标点编码过程和 FFR v1.1 模型的训练过程，旨在打破非洲语言壁垒问题，提高翻译模型鲁棒性。

    Jun, 2020

  • 细调的机器翻译度量在未知领域中面临困难

    我们引入了一个新的广泛的多维质量度量（MQM）注释数据集，涵盖了生物医学领域的 11 种语言对。我们利用该数据集来研究在训练和推理之间领域转移时，是否基于人工生成的机器翻译质量评判进行微调的机器翻译（MT）度量指标是否具有稳健性。我们发现，在未知领域情况下，经过微调的度量指标与依赖表面形式的度量指标以及未经过 MT 质量评判的预训练度量指标相比，表现出显著的性能降低。

    Feb, 2024

  • XFORMAL: 多语种形式化风格转换基准

    通过创建和发布多种形式重组非正式文本的基准测试 XFORMAL，我们迈出了通往多语言风格转移的第一步。XFORMAL 的结果表明，最先进的风格转移方法与简单的基线方法表现相当，这表明在进行多语言风格转移时更具挑战性。

    Apr, 2021

  • Tencent WMT22 大规模非洲语言多语言机器翻译系统

    本文介绍了腾讯的多语言机器翻译系统，该系统使用数据扩增、分布式稳健优化和语系分组等技术来应对数据不平衡和多语言难题，其中在 WMT22 的有限数据情况下，取得了第一名的成绩。

    Oct, 2022