May, 2023

PrOnto: 对 859 种语言的语言模型评估

PDF
TL;DR该论文提出了一种新的评估数据集创建方法，将英语 New Testament OntoNotes 数据库中的数据与其他语言中的 New Testament 翻译进行对齐，在无需手动注释的情况下将注释从英语映射到目标语言，以创建适用于预训练语言模型评估的套件。作者在 859 种语言中应用了这种方法，共创建了 1051 个数据集，并证明了这种方法创建的评估任务可以评估语言模型的质量。
evaluation datasetspretrained language modelsmethodannotationnew testament translations
发现论文，激发创造
  • Taxi1500：1500 种语言文本分类的多语言数据集

    通过并行翻译圣经来开发广泛的主题，并利用众包工具收集标记数据，标注英文端的数据，并通过已对齐的诗句将标签映射到其他语言，从而为 1500 多种语言生成文本分类数据集，并对多个现有的多语言语言模型进行广泛基准测试。

    May, 2023

  • eBible 语料库：为低资源语言的圣经翻译提供数据和模型基准

    使用 eBible 语料库作为基准数据集，引入神经机器翻译模型性能基准，并考虑了多种与圣经翻译领域相关的问题，最终建立了一个适用于低资源语言的模型基准。

    Apr, 2023

  • 构建和评估 1480 种语言中自动提取名词的 LEAFTOP 数据集

    使用概率推断的方法，LEAFTOP 数据集实现了从 Koine Greek 到 1480 种其它语言的多义词翻译，其中低资源语言的翻译准确率达到了 72%。

    May, 2022

  • IndicMT Eval：用于评估印度语机器翻译度量的数据集

    本文旨在创建一个 MQM 数据集，以系统地评估 7 个机器翻译系统中 5 种印度语言的翻译质量，并探讨自动化评估指标和人工评分之间的相关性。结果表明预先训练的指标 COMET 与人工评分相关性最高，但这些指标并未恰当地捕捉印度语言中的流畅性错误，因此需要开发注重印度语言的度量指标。

    Dec, 2022

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • MTOP: 一个全面的多语言任务导向的语义解析基准

    本文提出了一种新的多语言数据集 MTOP，用于任务导向的语义解析，并使用该数据集和其他公开数据集来对最新的多语言预训练模型进行全面的基准测试，得到了 6.3 个 Slot F1 平均提高，并展示了使用预训练模型和自动翻译和对齐，以及远程监督方法结合，以减少槽标签投影中的噪声来实现强大的零 - shot 性能。

    Aug, 2020

  • Tatoeba 翻译挑战：低资源和多语言 MT 的现实数据集

    本文介绍了一种新的机器翻译基准，为超过 500 种语言的数千种语言对提供了训练和测试数据，并提供了从该集合创建最先进的翻译模型的工具，旨在促进开放翻译工具和具有更广泛语言覆盖范围的模型的发展。

    Oct, 2020

  • 评估土耳其语系多语言多向 NMT 技术

    本研究通过对土耳其语系 22 种语言的大规模机器翻译系统的培训和评估，发现 MNMT 模型在领域外测试集中的表现优于几乎所有双语基线，并在单对下游任务的微调中也获得了巨大的性能提升。

    Sep, 2021

  • 圣经对当代话题的启示：低资源多语言话题模型的评估

    介绍了一种评估多语言主题模型质量的方法，该方法考虑到外部资源不足的情况，并提出了一种适应性模型来提高指标的准确性和可靠性。

    Apr, 2018

  • 利用大语言模型学习低资源语言的翻译质量评估

    使用大型语言模型，无需人工注释，将合成数据集混合到现有数据集中，可以提高低资源语言的 BLEURT 模型性能。

    Feb, 2023