Oct, 2023

Larth: 埃特鲁里亚语数据集和机器翻译

PDF
TL;DR提供了一个从古埃特鲁里亚语到英语的机器翻译数据集，其中包含来自现有学术资源的 2891 个翻译示例，并通过对不同机器翻译模型进行了基准测试，发现使用小型 Transformer 模型可以达到 10.1 的 BLEU 分数。发布这个数据集有助于促进对这种语言、类似语言或其他资源匮乏语言的未来研究。
发现论文，激发创造
  • Taxi1500：1500 种语言文本分类的多语言数据集

    通过并行翻译圣经来开发广泛的主题，并利用众包工具收集标记数据，标注英文端的数据，并通过已对齐的诗句将标签映射到其他语言，从而为 1500 多种语言生成文本分类数据集，并对多个现有的多语言语言模型进行广泛基准测试。

    May, 2023

  • 机器翻译的土鲁语资源

    我们提供了第一个用于英图鲁翻译的并行数据集。我们使用该数据集开发了英图鲁机器翻译模型，并采用了转移学习方法来解决低资源语言的机器翻译开发中的障碍。

    Mar, 2024

  • eBible 语料库：为低资源语言的圣经翻译提供数据和模型基准

    使用 eBible 语料库作为基准数据集，引入神经机器翻译模型性能基准，并考虑了多种与圣经翻译领域相关的问题，最终建立了一个适用于低资源语言的模型基准。

    Apr, 2023

  • 多语言到英语机器翻译工具、数据和预训练模型

    本文提出三种工具：MTData、NLCodec 和 RTG，设计一个能够从 500 种源语言翻译成英语的多语言神经机器翻译模型，支持语言种类很多，且模型容易下载和使用。

    Apr, 2021

  • 低资源机器翻译调查

    介绍了低资源机器翻译研究领域的现状，重点是在少量翻译训练数据的情况下制备有用的翻译模型的挑战以及在近期几个共享任务中评估研究者的技术的描述。

    Sep, 2021

  • 一个意大利意图分类数据集

    这篇研究介绍了 ITALIC，这是一个大规模的意向分类语音数据集，旨在为意大利语提供 SLU 模型和特定语言数据集的开发。结果表明：增加规模和语言适应可以提高语音模型的准确性，单语文本模型的结果超过多语言模型，ITALIC 上的语音识别比现有的意大利基准更具有挑战性。

    Jun, 2023

  • Logion：希腊语学领域机器学习

    利用机器学习方法，我们在希腊文献学领域解决了诸多问题。在使用最大的古希腊数据集训练 BERT 模型后，我们成功鉴别并纠正了文本传承过程中刻写员以往未能发现的错误，同时证明了该模型填补古代手稿材料损伤造成空缺的能力，并与领域专家的表现进行了比较。我们发现，在启发领域专家的模型建议的支持下，最佳表现可得。在考虑到人机协作的同时，我们还探索了模型的可解释性，并发现一些注意力头似乎对古代希腊语的某些语法特征进行了编码。

    May, 2023

  • 拉丁 BERT: 古典语言学的上下文语言模型

    我们介绍了 Latin BERT，它是一种针对拉丁语言的上下文语言模型。在多个案例研究中，我们展示了该模型在自然语言处理和传统学术研究中的多种应用，比如在所有三个拉丁语通用语义数据集上都取得了最新的最佳词性标注成果，并通过查询上下文最近邻实现了语义上信息化的搜索。

    Sep, 2020

  • 大型训练数据集下的古今中文翻译

    本文提出了一种基于古汉语和现代汉语特点的 Ancient-Modern Chinese 从句对齐方法，综合了基于词汇和统计信息的两种方法，用于创建了一个包含 124 万个双语对的大规模语料库，并分析了在此数据集上各种机器翻译模型的性能，并为该任务提供了强大的基准。

    Aug, 2018

  • 在卢干达语和英语之间构建平行语料库和训练翻译模型

    本文介绍了一个针对 Luganda 语的 NMT 模型，首次建立 Luganda-English 双语平行语料，并且我们的模型在语言翻译 BLEU 评价中表现出较高的质量，证明为低资源语言建立机器翻译模型的可行性。

    Jan, 2023