Tik-to-Tok：一个逐令牌翻译语言模型的嵌入初始化策略用于有效语言适应

ACLOct, 2023

Tik-to-Tok：一个逐令牌翻译语言模型的嵌入初始化策略用于有效语言适应

Tik-to-Tok: Translating Language Models One Token at a Time: An Embedding Initialization Strategy for Efficient Language Adaptation

PDF

François Remy, Pieter Delobelle, Bettina Berendt, Kris Demuynck, Thomas Demeester

TL;DR通过模型转换策略将高资源单语言模型转化为新的目标语言，从而在低资源语言和中等资源语言上实现了新的最先进性能。

Abstract

Training monolingual language models for low and mid-resource languages is made challenging by limited and often inadequate pretraining data. In this study, we propose a novel model conversion strategy to address

monolingual language models model conversion strategy low-resource languages word translation dictionary state-of-the-art models

发现论文，激发创造

低资源跨语言迁移的词汇扩展

通过在不同角度研究目标词汇规模、初始化方法以及可用于适应的目标数据量，我们在语料资源有限的环境中发现，基于简单启发式的词向量初始化方法更高效、更稳定，能够在目标词汇规模和适应数据变化时胜过常用的随机初始化和更复杂依赖外部数据和模型的最先进方法。

Jun, 2024

高效地将预先训练好的语言模型适应新语言

本文研究如何有效地将任何现有的预训练大型语言模型适应到新的语言中，避免灾难性遗忘和标记器效率低下的问题，并通过添加目标语言的新标记和研究数据混合配方提高标记器的编码效率。实验证明，我们的配方在将英语预训练大型语言模型适应到匈牙利语和泰语方面，能够达到比开源模型更好的性能，同时对英语的回归影响很小。

Nov, 2023

UNKs 无处不在：将多语言语言模型适应新的字符集

本文介绍了一种基于矩阵分解和词汇重叠的方法，能够快速适应预先训练的多语言模型以适应资源匮乏的语言和未知脚本，并且在这些语言中能够获得显著的性能提升。

Dec, 2020

LlamaTurk：为低资源语言适应开源生成型大语言模型

通过对英语为主的生成大语言模型进行调整，以适应资源匮乏的语言，并评估了不同的策略，包括持续训练、指导微调、任务特定微调和词汇扩展。结果表明，持续训练改进了语言理解能力，任务特定微调一般提高了下游任务的性能，但扩展词汇未带来实质性的益处。此外，在适应时，较大的模型通过少样本微调可以提高任务性能，而多语言模型在适应时表现不如单语言模型。

May, 2024

嵌入结构的重要性：比较将多语言词汇适应到新语言的方法

本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。

Sep, 2023

使用双语词典进行标注低资源语言的模型转移

本研究提出了一种新颖的基于跨语言词向量的神经网络模型，通过高覆盖的双语词典训练，利用跨语言模型转移的方法，针对低资源语言的注释预测问题提出了解决方案，并通过多种主动学习启发式方法，提升了该方法的性能。

May, 2017

一种简单而有效的方法来提高零样本跨语言迁移学习

本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。实验结果表明，该方法在零 - shot 跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

Oct, 2022

将高资源 NMT 模型应用于低资源相关语言的翻译，不需要平行数据

本论文研究如何使用语言重叠来进行翻译，在仅有少量单语数据的情况下，结合去噪自编码、回译和对抗性目标，提出了一种名为 NMT-Adapt 的方法，实现了对低资源语言的翻译的提高。

May, 2021

WECHSEL: 用于对单语言模型进行跨语言转移的子词嵌入有效初始化

本论文介绍了一种称为 WECHSEL 的新型方法，它可以在不同语言之间高效地转移预训练语言模型，通过使用基于子词的标记化和多语言静态词嵌入，WECHSEL 可以解决传统方法中在训练新语言时昂贵和耗时的问题，同时提高了跨语言参数传递的效果和可访问性。

Dec, 2021

使用知识蒸馏将单语句子嵌入多语言

本文介绍了一种将现有的句子嵌入模型扩展到新语言的简便有效方法，训练基于将翻译后的句子映射到与原始句子相同的向量空间位置的思想，相较于其他多语言句子嵌入训练方法，具有扩展现有模型以增加新语言的简易性、保证向量空间所需属性的易操作性和较低的硬件要求等优势。代码已公开，可以用于将句子嵌入模型扩展到 400 多种语言。

Apr, 2020