Jun, 2023

利用迁移学习改进波兰语到英语神经机器翻译：数据量和语言相似性的影响

PDF
TL;DR本研究探讨了数据量和使用类似语言对于机器翻译任务中的迁移学习的影响，研究发现，在迁移学习中，拥有更多的数据通常会导致更好的性能，然而，相关语言在特定语言对的数据有限时也可以特别有效，最终通过使用 OPUS-100 数据集对 mBART 模型进行微调来证明结果。实验表明，相关语言和更多的数据的组合比单独使用两者能够更好的提高模型性能，同时还表明了相关语言在零样本和小样本时的重要性。
transfer learningdata volumesimilar languagesmachine translationfine-tuning
发现论文，激发创造
  • 在语言相似度高的情况下适应单语模型：数据匮乏的问题

    本篇论文重点研究了如何使用尽可能少的数据实现零 - shot 迁移学习，并探讨了语言相似度在该过程中的影响。研究人员利用两种低语言资源语言重新训练了四个基于 BERT 的模型的词汇层，同时对模型的源语言进行了独立的 POS 标记任务的微调。研究结果发现，通过将新的词汇层和微调后的 Transformer 层相结合，即使在仅有 10MB 的数据的情况下，也能显著提高两种目标语言任务的性能。值得注意的是，在目标语言被包含在多语言模型中时，单语 BERT-based 模型在重新训练词汇层后的下游任务表现要高于多语 BERT。

    May, 2021

  • 利用语言相似性进行零样本跨语言转移语言选择

    研究使用语言相似性来选择最佳的迁移语言，从而提高在情感分析、命名实体识别和依赖解析等不同自然语言处理任务中的跨语言迁移性能。

    Jan, 2023

  • 神经机器翻译跨低资源、相关语言的迁移学习

    基于 Byte Pair Encoding 的转移学习方法对低资源语言进行神经翻译的改进，提高了翻译的质量。

    Aug, 2017

  • 使用文本到文本模型进行波兰语转移学习的评估

    介绍了一个用于评估波兰语文本生成模型的新基准。基准由多种任务和数据集组成，可以用于翻译、摘要和问答等自然语言处理任务的评估，并特别介绍了用于波兰语的通用文本生成模型 plT5。

    May, 2022

  • 多语言转换器用于产品匹配 -- 波兰实验和新基准测评

    该论文展示了使用预训练的、多语言 Transformer 模型，并通过微调来解决英语和波兰语文本特征下的产品匹配问题。该论文在英语中测试了多语言 mBERT 和 XLM-RoBERTa 模型，发现在 Web Data Commons - 训练数据集和大规模产品匹配的黄金标准上，这些模型的表现与最新的解决方案相似，在某些情况下效果甚至更好。此外，该论文还使用波兰语制作了第一个产品匹配任务的开放数据集，并展示了微调后的 mBERT 和 XLM-RoBERTa 模型在波兰数据集上的基线结果。

    May, 2022

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 低资源语言的机器翻译性能预测：领域相似性的作用

    对于低资源语言（LRLs）来说，微调和测试多语言大型语言模型是昂贵和具有挑战性的。我们调查了微调语料库的大小、微调和测试语料库之间的领域相似性以及源语言和目标语言之间的语言相似性对模型性能的影响，结果表明领域相似性对机器翻译模型性能的预测有最重要的影响。

    Feb, 2024

  • 高效的语言自适应预训练：为波兰语扩展最先进的大型语言模型

    使用英语大型语言模型（LLMs）通过微调，成功地生成了波兰文文本，并证明了该方法对于为现有 LLMs 添加新语言是可行的。

    Feb, 2024

  • 规模化波兰变压器语言模型预训练

    本文介绍了两个基于流行的 BERT 架构的波兰语语言模型，经过评估，我们的模型在 13 个波兰语语言任务中取得了显著的提高。

    Jun, 2020

  • 探索语言相似性和零样本学习用于德拉维多语言的多语种翻译

    通过利用音译和语言相似性，本研究构建了一个单一编解码器神经机器翻译系统，用于 Dravidian-Dravidian 多语言翻译和零翻译；通过限制词汇表使用优化传输技术，该模型在训练语言方向的 50％上达到了与大型基于引导的模型相差 3 个 BLEU 的分数。

    Aug, 2023