Mar, 2021

Fon 语的低资源神经机器翻译基于众包的基于短语的分词

PDF
TL;DR本研究主要针对非洲土著语言的神经机器翻译问题，提出基于 Word-Expressions-Based 的超词标记策略，相较于其他标记方法可以更好地应对具有语法、韵律、声调特征的非洲语言翻译训练的困难性。实验结果表明，在 Fon - 法语和法语 - Fon 的翻译任务中，基于该方法得到的 NMT 模型更加可靠。
neural machine translationafrican indigenous languagestokenizationword-expressions-basedtraining
发现论文，激发创造
  • 基于形态学建模的低资源神经机器翻译

    在低资源环境中，提出了一种用于模拟复杂形态的框架解决方案，该方案采用了双层 Transformer 架构来编码输入端的形态学信息。同时通过多标签多任务训练和基于 beam search 的解码器，提高了机器翻译性能，并使用通用形式的注意力增强方案来整合预训练语言模型和源语言和目标语言之间的词序关系建模。通过评估多种数据增强技术，提高了在低资源环境中的翻译性能，最终在基纳卢旺达语 - 英语翻译任务中取得了有竞争力的性能，希望我们的结果能够鼓励更多在低资源的神经机器翻译中使用明确的形态学信息以及所提出的模型和数据增强方法。

    Apr, 2024

  • FFR v1.1：法语 - 法语言机翻译

    本研究介绍了一种从低资源语言 Fon 翻译成法语的神经机器翻译模型，通过描述 FFR 数据集、语音标点编码过程和 FFR v1.1 模型的训练过程，旨在打破非洲语言壁垒问题，提高翻译模型鲁棒性。

    Jun, 2020

  • 塞内加尔沃洛夫语的低资源机器翻译

    本文介绍了一种基于循环神经网络（RNN）的机器翻译模型，结合次词单元和法语 - 英语语言对培训，提高了 Wolof / 法语对翻译性能。

    May, 2023

  • FFR V1.0: Fon-French 神经机器翻译

    该研究介绍了针对非洲语言低资源、调性复杂性的挑战，使用重要性语言在跨文化交流中的作用及需要准确模型的必要性来实现了 Fon 语及法语之间的机器翻译模型。

    Mar, 2020

  • 引入音节分词技术用于低资源语言：以斯瓦希里语为例研究

    我们提出了一种音节分词器，并采用实验为中心的方法验证所提出的分词器在斯瓦希里语中的有效性。我们使用 GPT2 进行文本生成实验，结果证明所提出的音节分词器能够有效地表示斯瓦希里语。

    Mar, 2024

  • FonMTL: 面向 Fon 语的多任务学习

    本文介绍了多任务学习在 Fon 语言的自然语言处理中的应用，具体研究了 Fon 语言的命名实体识别和词性标注任务，并展示了在这些任务上相对于其他预训练的多语种语言模型来说，具备竞争力或者更好的性能。

    Aug, 2023

  • 面向非洲语言的神经机器翻译

    本文提出采用现有神经机器翻译技术为非瑟环语等低资源本地语言进行在线教育翻译以改进南非教育，并且实验证明采用 Transformer 架构击败以前翻译技术 5.33 BLEU 分数，展示了现有 NMT 技术为非洲语言提供的巨大潜力。

    Nov, 2018

  • Ngambay - 法语神经机器翻译 (sba-Fr)

    该研究聚焦于低资源语言，特别关注尼日尔的低资源语言，制定了有效的数据收集方法，构建了第一个 sba-Fr 数据集，并对三个预训练模型进行了优化，结果显示 M2M100 模型在原始数据和原始 + 合成数据上都取得了较高 BLEU 分数，该公开数据集可用于研究目的。

    Aug, 2023

  • 南非语言低资源语言建模

    本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的 N 元模型、前馈神经网络、循环神经网络和 Transformers 网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。

    Apr, 2021

  • 极低资源非洲语言的神经机器翻译：巴姆巴拉语案例研究

    本文研究了 Bambara 这种低资源语言的机器翻译问题，并提出了处理低资源语言数据稀缺问题的策略。我们还介绍了第一个 Bambara 到英文和法文的机器翻译平行数据集，并且提供了第一个机器翻译 Bambara 的基准结果。

    Nov, 2020