Mini-Model Adaptation: 通过对齐的浅层训练有效地将预训练模型扩展到新语言

Dec, 2022

Mini-Model Adaptation: 通过对齐的浅层训练有效地将预训练模型扩展到新语言

Mini-Model Adaptation: Efficiently Extending Pretrained Models to New Languages via Aligned Shallow Training

Kelly Marchisio, Patrick Lewis, Yihong Chen, Mikel Artetxe

TL;DR提出了小型模型自适应方法 Mini-Model Adaptation，在参数的部分分数中构建浅层小型模型，以高效地训练新的语种嵌入，可应用于 Transformer 等预训练模型中，跨语言性能与标准方法相当，计算效率高达 2.4 倍。

Abstract

Prior work has shown that it is possible to expand pretrained Masked Language Models (MLMs) to new languages by learning a new set of embeddings, while keeping the transformer body frozen. Despite learning a small subset of parameters, this approach is not compute-efficient, as training the new embeddings requires a full forward and backward pass over the en

masked language models cross-lingual transfer mini-model adaptation transformers machine learning

发现论文，激发创造

高效地将预先训练好的语言模型适应新语言

本文研究如何有效地将任何现有的预训练大型语言模型适应到新的语言中，避免灾难性遗忘和标记器效率低下的问题，并通过添加目标语言的新标记和研究数据混合配方提高标记器的编码效率。实验证明，我们的配方在将英语预训练大型语言模型适应到匈牙利语和泰语方面，能够达到比开源模型更好的性能，同时对英语的回归影响很小。

Nov, 2023

MiniALBERT: 基于参数高效递归 Transformer 的模型蒸馏

本文介绍 MiniALBERT，一种将已有的完全参数化的语言模型转换为压缩递归模型的技术，探讨了论文中提出的模型蒸馏、跨层参数共享、瓶颈适配器等技术对压缩模型的 fine-tuning 效果以及在多种领域的实验结果。

Oct, 2022

神经机器翻译的简单可扩展自适应性

本研究提出了一种简单而有效的适应 NMT 模型的方法，该方法是将微小的任务特定适配层注入预训练模型，能够同时适应多个不同的任务，并在两项任务中得到了验证，理论与全面的微调相当。

Sep, 2019

关于单语表示的跨语言转移性

新颖的跨语言转移学习方法 - 从单语言模型到新语言，通过学习一个新的词嵌入矩阵来实现，该方法与现有不需要共享词汇表或联合训练的最先进的无监督多语言模型的跨语言分类基准测试表现相似。

Oct, 2019

元学习差异性：为大型语言模型准备高效迁移

该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

Jul, 2022

从深度 Transformer 学习轻量级翻译模型

本文提出了一种新颖的基于群排列的知识蒸馏方法，将深度 Transformer 模型压缩为浅层模型，并通过随机遗漏 sub-layers 的 Skipping Sub-Layer 方法来进一步提高模型性能，在保证几乎不丢失 BLEU 的情况下，将学习时间和计算量降低了 8 倍，证明了该方法在多个基准测试中的有效性。

Dec, 2020

多语言神经机器翻译的语言家族适配器

本文提出在预训练的多语言模型上训练语言家族适配器，以促进跨语言转移。该模型一致优于其他基于适配器的方法，并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。

Sep, 2022

预训练语言模型中新兴的跨语言结构

通过研究多语言掩码语言建模问题，我们阐述了若干因素，即为何这些模型在跨语言转移方面如此有效，并证明了即使单语料库之间没有共享词汇，也可以进行转移，只需在多语言编码器顶层存在一些共享参数。同时，我们展示了来自不同语言、独立训练模型的表示可以很好地进行后期对齐，这些模型似乎自动发现和对齐了学习嵌入空间中的普遍潜在对称性。对于多语言掩码语言建模，这些对称性似乎是在联合训练过程中自动发现和对齐的。

Nov, 2019

多语言 BERT 模型预训练后对齐

本研究提出了一种简单的方法，作为预训练后对多语种上下文嵌入进行对齐的步骤，以提高预训练模型的零 - shot 跨语言迁移能力。该方法通过最近提出的 Translation Language Modeling 目标在词级别上对嵌入进行对齐，并通过对比学习和随机输入洗牌在句子级别上进行对齐。在下游任务的微调中，使用英语进行句子级别的代码转换。在 XNLI 上，我们的最佳模型（从 mBERT 初始化）在零 - shot 设置上比 mBERT 提高了 4.7％，在使用少于 18％的相同平行数据和 31％的模型参数的情况下，实现了与 XLM for translate-train 相当的结果。在 MLQA 上，我们的模型胜过比我们多 57％参数的 XLM-R_Base。

Oct, 2020

透过 Adapter 实现基于预训练语言模型的强大迁移学习

本文提出了一种简单而有效的适配器方法来提高预训练模型在下游任务的稳定性和抗攻击性。该方法为预训练模型的每层插入小型的瓶颈层，然后在下游任务数据上固定预训练层并训练适配器层，通过在任务特定的无监督训练和监督训练 (e.g., 分类、序列标注) 的过程中，提高了转移学习的性能。

Aug, 2021