ACLMay, 2024

ByteT5 在代表性较弱的语言的《圣经》文本多语言翻译中的效果

PDF
TL;DR本研究提出了一种基于 ByteT5 的多语言翻译模型，旨在将圣经翻译成少数语言。通过使用约翰・霍普金斯大学圣经语料库进行训练，我们使模型能够捕捉基于字符和形态丰富的语言的复杂细微差别。我们的结果通过 BLEU 分数和样本翻译进行衡量，表明该模型可以提高对神圣文本的可访问性。它有效地处理了独特的圣经词汇和结构，从而弥合了语言分歧。本研究还讨论了模型的局限性，并提出了未来增强的途径，重点是在跨语言界限上扩大对神圣文学的获取。
发现论文，激发创造
  • eBible 语料库：为低资源语言的圣经翻译提供数据和模型基准

    使用 eBible 语料库作为基准数据集，引入神经机器翻译模型性能基准，并考虑了多种与圣经翻译领域相关的问题，最终建立了一个适用于低资源语言的模型基准。

    Apr, 2023

  • 评估字节和 Wordpiece 级别的模型在大规模多语言语义分析中的应用

    本研究研究并比较了一个基于字节的（ByT5）和基于单词片段的（mT5）序列模型在 51 种语言的 MASSIVE 多语种语义分析数据集上的表现，实验结果表明通过使用最新的标签投影方法，机器翻译示例可以显著提高精确度，与在所有语言的黄金数据上训练的模型只有 5 个百分点的差距，并提供了有关 ByT5 的跨语言转移及其相对于 mT5 在所有参数大小上的各自表现的见解。

    Dec, 2022

  • 基于字节级子词的神经机器翻译

    本篇论文探讨了一种基于字节级子词（BBPE）的机器翻译模型，该模型比字符词汇表更紧凑且没有超出词汇表的令牌，并显示了与 BPE 相当的性能，BBPE 在跨多种语言的情况下最大化词汇共享并实现更好的翻译质量，同时使非重叠字符集的语言之间的模型传递成为可能。

    Sep, 2019

  • 使用 ByT5 模型进行大规模多语言字素到音素转换

    使用 ByT5 模型，我们从不同来源中整理出覆盖 100 种语言的 G2P 数据集，并训练了大规模的多语种 G2P 模型。与单语模型相比，多语种 ByT5 模型通过同时学习多种语言降低了电话错误率，可进一步通过无监督预测或微调，帮助低资源语言的写作转音。

    Apr, 2022

  • 使用字节级子词训练多语言预训练语言模型

    本文介绍了使用 Byte-Level BPE 技术训练 NEZHA 多语言预训练语言模型，并通过多语言 NLU 任务验证其性能显着优于 Google 多语言 BERT 和原始 NEZHA 模型。

    Jan, 2021

  • mLongT5：针对更长序列的多语言高效文本转换器

    本文介绍了我们关于开发一种适用于处理长输入的多语言高效文本到文本转换器的工作，称为 mLongT5 (即在 LongT5 架构上构建并利用用于预训练 mT5 和 UL2 预训练任务的多语言数据集)，我们评估了该模型在各种多语言摘要和问答任务上的表现，并与现有的多语言模型（如 mBART 或 M-BERT）进行了比较，表明 mLongT5 相对于这些模型具有更强的性能。

    May, 2023

  • BibleTTS：一个大型、高保真、多语种且独特的非洲语音语料库

    BibleTTS 是一个由 Open.Bible 项目自 Biblica 发布的圣经记录而来的语音数据集，共有十种撒哈拉以南非洲的语言，为各种语言的文本转语音模型的开发提供了高质量的 48kHz 单人演讲录音素材。

    Jul, 2022

  • 只需 Bytes：使用 Bytes 实现端到端多语言语音识别和合成

    本文提出了两个端到端模型：Audio-to-Byte (A2B) 和 Byte-to-Audio (B2A)，用于多语言语音识别和合成。模型的关键是使用 Unicode 字节序列来建模文本，并且通过使用字节代替大的 softmax 函数，不同语言之间可以共享表示。同时通过引入字节表示，作者在单语言和多语言模型的表现中都获得了很好的结果。

    Nov, 2018

  • 增强的双语评估助手

    本研究通过在 Bilingual Evaluation Understudy（BLEU）评估技术上进行改进，提出了一种适应人类评估的评估技术，该技术可以考虑包括同义词和词序在内的变化，并且与现有的评估方法相比，有较好的改进和相关性。

    Sep, 2015

  • mT5: 一种大规模多语言预训练文本到文本的转换器

    本文介绍了 mT5，这是 T5 的多语言变体，基于新的基于 Common Crawl 的数据集进行预训练，涵盖 101 种语言，并展示了在许多多语言基准测试中的最新性能。我们还描述了一种简单的技术，用于在零 - shot 设置中防止 “意外翻译”。

    Oct, 2020