ACLMay, 2022

地理距离是新的超参数：寻找最佳英语 - Zulu 预训练语言的机器翻译案例研究

PDF
TL;DR本研究探讨了在英 - 祖鲁语翻译框架中使用迁移学习的潜在益处。结果表明，从相关语言进行迁移学习可以提高低资源翻译模型的性能，这为未来的低资源翻译提供了关键策略。我们从 8 个不同的语料库（包括一个多语言语料库）中收集了结果，看到 isiXhosa-isiZulu 在测试集上的 BLEU 得分为 8.56，超过了多语言语料库中的预训练模型 2.73。我们还推导出了一个新系数，纳西尔地理距离系数（NGDC），它提供了一个用于预训练模型选择语言的简单方法。NGDC 也指出应该选择 isiXhosa 作为预训练模型的语言。
machine translationlow-resource languagestransfer learningmorphologically rich languagesisizulu
发现论文，激发创造
  • 面向南部非洲语言的低资源神经机器翻译

    通过比较零 - shot 学习、迁移学习和多语言学习在三种班图语（Shona、IsiXhosa 和 IsiZulu）和英语翻译中的表现，我们展示了语言相似性对英语到 isiZulu 的迁移学习性能的重要性，并证明多语言学习在我们的数据集上优于迁移学习和零 - shot 学习，其最佳模型相对于基线英语到 isiZulu 模型的 BLEU 得分提高了 9.9、6.1 和 2.0，同时超过了之前的最佳表现。

    Apr, 2021

  • 语言距离与国家英语能力的关系

    本文提出一种基于深度神经网络技术利用多语言预训练语言模型（如 BERT）中嵌入空间的词分布测量语言之间语义差异的解决方案，并通过实证考察验证了该方法对于解释各国英语能力在 TOEFL iBT 中一致变异的有效性，结果表明语言距离对国家的英语能力具有负面影响，在语言的生产方面如说和写的子技能方面影响更显著。另外，我们对未来的研究方向提出具体的建议。

    Nov, 2022

  • 多语言 Transformer 模型的远程监督和迁移学习：关于非洲语言的研究

    研究了不同数量可用资源的情况下，对三种非洲语言 Hausa，isiXhosa 和 Yoruba 进行 NER 和主题分类的表现趋势，并通过远距离监督和迁移学习等方法，使用少量的标注数据达到与基线相同的性能，揭示了低资源学习中存在的挑战和机会。

    Oct, 2020

  • Izindaba-Tindzaba：针对 Zulu 语和 Siswati 语的长文本和短文本机器学习新闻分类

    这项研究旨在为南非的 isiZulu 和 Siswati 本土语言创建大规模数据集，通过使用四种分类模型和三种单词嵌入方法，分类结果表明，XGBoost、逻辑回归和 LSTM 的 Word2vec 训练表现最佳。

    Jun, 2023

  • 分析低资源非洲命名实体识别中的跨语言传递

    通过研究名词实体识别任务的十种低资源语言之间的跨语言迁移学习，我们发现自适应微调和迁移语言的选择对零射击迁移性能有何影响，发现在个别语言性能和在其他语言上的概括之间存在权衡，同时源数据集和目标数据集之间的数据重叠程度是预测迁移性能的更好指标，而不是语言之间的地理或遗传距离。

    Sep, 2023

  • 数据自适应迁移学习用于翻译：海地和牙买加的案例研究

    研究表明，对于低资源机器翻译，多语言转移技术的有效性与训练数据量以及知识共享语言之间的关系有关，当某些语言超过真实数据的阈值时，回译增强方法会适得其反，而跨语言转移则更合适。同时，该研究提出了一种基于规则的法语 - 海地克里奥尔语正字和句法引擎和一种新型的音韵嵌入方法，这些方法使得正字转换在多语言技术中相对于传统方法显著提高效果。在极低资源的牙买加机器翻译中，通过与一种具有正字相似度的转移语言进行代码交换，可以获得 6.63 BLEU 点的优势。

    Sep, 2022

  • 地理信息辅助语种识别

    通过结合地理信息，本研究开发了一种语言识别方法，形成了 16 个区域模型，覆盖 916 种语言，模型性能得到改善。

    Mar, 2024

  • 跨低资源非洲语言引导 NLP 工具：概述及前瞻

    总结南部非洲原生非洲语言的自举技术，其中包括使用语法和基于规则的自然语言生成，以及使用比较语言学中的类似度措施，这是进一步研究的肥沃领域。

    Oct, 2022

  • 南非语言低资源语言建模

    本文通过研究对南非低资源语言的开放词汇语言模型的表现来评估不同变种的 N 元模型、前馈神经网络、循环神经网络和 Transformers 网络。这项研究有望为非洲语言的多语种和低资源语言建模开辟新的研究途径。

    Apr, 2021

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023