为低资源神经机器翻译优化 Transformer
本研究对 Transformer 模型在低资源语言翻译中的应用进行了探究,发现过度追求模型大小存在负面影响,需要注意调整超参数以提高性能。同时,本研究旨在挖掘更佳的模型性能,以推动 “Masakhane” 项目的发展。
Apr, 2020
通过超参数优化,选择适当的参数并进行子词模型的正确选择,能够在英语 - 爱尔兰语低资源语言对的翻译中实现显著的性能提升,并改善了 Google 翻译的基准性能。
Mar, 2024
该研究旨在研究机器翻译中 Transformer 模型在低资源语言对(英爱尔兰语和英马拉地语)中的效果,并通过优化超参数和子词模型类型来显著提高低资源语言对的翻译质量。此外,还引入了 adaptNMT 和 adaptMLLM 两个开源应用程序,简化了神经机器翻译模型的开发、微调和部署过程,使其更容易被开发人员和翻译人员使用。
Mar, 2024
本文探讨神经网络机器翻译(NMT)在低资源条件下性能下降的原因,提出适应低资源环境时的注意事项和最佳实践,并在德语 - 英语和韩语 - 英语低资源翻译数据集上进行实验,发现经过优化的 NMT 系统可以在没有使用其他语言辅助数据的情况下,比以前报告的更少数据超越采用词组统计的基于规则的机器翻译(PBSMT),BLEU 指标超过 4 个点。
May, 2019
通过将多个低资源语言聚集在一起来实现地区组多语言 Transformer LM 的最佳性能,使得 Monolingual LM 候选模型表现更佳且减少维护成本和运营费用。
Sep, 2022
利用自注意力变换器模型(mBERT, mT5)以及构建新的基准数据集(76.5k 的文章摘要对),在资源有限的语言乌尔都语中,提出了一个自适应低资源摘要方法,能够有效地捕捉低资源语言的上下文信息并取得与英文高资源语言中最先进模型相媲美的评估结果。
Oct, 2023
本文探讨了在语料库仅包含 324000 个句子的低质量语言对中使用迁移学习和半监督学习技术以优化神经机器翻译的效果,并且实验证明,这些技术应用于基础 Transformer 模型后,俄塔语对翻译质量提高了 2.57 和 3.66 个 BLEU 指标。
Oct, 2019
本文对低资源神经机器翻译进行了调查,并根据所使用的辅助数据将相关作品分为三类:利用源语言和 / 或目标语言的单语数据,利用来自辅助语言的数据以及利用多模态数据。该调查有助于研究人员更好地理解该领域,鼓励他们设计更好的算法,也有助于帮助行业从业者选择适合其应用程序的算法。
Jul, 2021
本文使用端到端的 Siamese 双向递归神经网络从 Wikipedia 的可比较多语言文章中提取并生成平行句子,证明使用所收集的数据集可以提高低资源语言对 (英―印度语和英―泰米尔语) 上的 BLEU 分数。
Jun, 2018