Jul, 2024

用多语言编码器和知识蒸馏增强低资源的神经机器翻译：一个案例研究

HTML
PDF
TL;DR基于预训练语言模型和知识蒸馏的 seq2seq 架构，用于辅助低资源语言的翻译，包括 mBART-50 不支持的印度次大陆语言。在三种印度低资源语言的四个印度语之间进行评估，与基准相比，蓝-4 和 chrF 显著提高，人工评估也证实了我们方法的有效性。
发现论文，激发创造
  • 面向低资源神经机器翻译的迁移学习

    该研究提出了一种转移学习的方法，通过先训练一个高资源语言对以及将一些已学习的参数转移至低资源语言对，来初始化和约束训练，显著提高了Bleu分数，并将低资源机器翻译性能接近于强的基于语法的机器翻译系统，超过了其一个语言对的性能，并且用于重新评分可以进一步提高低资源机器翻译的表现。

    Apr, 2016

  • 低资源语言的神经机器翻译

    本文研究通过引入更多本地依赖关系和使用单词对齐来学习翻译过程中的句子重新排序，在低资源语言中使用神经机器翻译(NMT)模型，产生仅使用7万个训练数据令人满意的翻译结果。

    Aug, 2017

  • 重新审视低资源神经机器翻译：以个案研究为例

    本文探讨神经网络机器翻译（NMT）在低资源条件下性能下降的原因，提出适应低资源环境时的注意事项和最佳实践，并在德语-英语和韩语-英语低资源翻译数据集上进行实验，发现经过优化的NMT系统可以在没有使用其他语言辅助数据的情况下，比以前报告的更少数据超越采用词组统计的基于规则的机器翻译（PBSMT），BLEU指标超过4个点。

    May, 2019

  • 极低资源神经机器翻译的连续混合语言预训练

    本文提出了一种连续预训练 (CPT) 框架来应对低资源语言中看不见的语言，通过使用目标语言的单语语料库构建混合语言文本并继续对 mBART 进行预训练以优化低资源翻译任务，结果表明我们的方法能够持续提高翻译性能。

    May, 2021

  • 将高资源 NMT 模型应用于低资源相关语言的翻译，不需要平行数据

    本论文研究如何使用语言重叠来进行翻译，在仅有少量单语数据的情况下，结合去噪自编码、回译和对抗性目标，提出了一种名为NMT-Adapt的方法，实现了对低资源语言的翻译的提高。

    May, 2021

  • 低资源语言的神经机器翻译：综述

    本文介绍了对低资源语言NMT（LRL-NMT）的研究进展进行了详细调查，并定量分析了最受欢迎的解决方案，提供了一组指南来选择给定LRL数据设置的可能的NMT技术。它还呈现了LRL-NMT研究领域的完整视图，并提供了进一步增强LRL-NMT研究工作的建议清单。

    Jun, 2021

  • 为实现零样本神经机器翻译最大化利用多语言预训练

    论文证明多语言预训练和微调策略对于零-shot翻译是至关重要的，本文提出了一个强大的多语言翻译模型SixT+，支持100多种源语言，并实现了在不同翻译任务中的最好表现。

    Oct, 2021

  • 神经机器翻译的序列到序列预训练：理解与改进

    本文主要研究了Seq2Seq预训练在神经机器翻译上的影响，发现Seq2Seq预训练可提高翻译多样性，但由于与NMT微调存在差异，限制了翻译质量和模型稳健性，进一步提出了域内预训练和输入适应策略可以缓解这些问题。实验结果显示，我们的方法可以一致地提高Seq2Seq预训练的翻译性能和模型稳健性。

    Mar, 2022

  • 预训练的多语言序列到序列模型：底资源语言翻译的希望？

    通过在 10 种语言上进行完备实验，考虑了五个因素：（1）微调数据量，（2）微调数据中的噪声，（3）模型预训练数据量，（4）领域不匹配的影响以及（5）语言类型学，我们试图确定预训练多语言序列到序列模型（如 mBART）对翻译低资源语言有何贡献，并提出了许多启发式方法。实验结果显示，mBART 对领域差异具有鲁棒性，但对未知和语言类型学差异较大的语言的翻译仍低于 3.0 BLEU。因此，我们鼓励将重点从新模型转向新数据。

    Mar, 2022

  • 低资源语言的神经机器翻译

    该研究探索了低资源语言领域的神经机器翻译以及如何通过NLP和深度学习技术对语言模型进行改进

    Apr, 2023