多语言语言模型的单 / 跨语言预训练动态分析

EMNLPMay, 2022

多语言语言模型的单 / 跨语言预训练动态分析

Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models

Terra Blevins, Hila Gonen, Luke Zettlemoyer

TL;DR本研究旨在探究跨语言预训练模型的学习过程，发现该模型在语言内表现出较高的性能，复杂任务在低级语言技能前学习。添加不同的语言对跨语言转移的学习时机不同，并且最终模型层表现存在时间衰减现象，语言知识向网络底层传递。

Abstract

The emergent cross-lingual transfer seen in multilingual pretrained models has sparked significant interest in studying their behavior. However, because these analyses have focused on fully trained multilingual m

multilingual pretrained models cross-lingual transfer pretraining process linguistic tasks final model layer

发现论文，激发创造

探索 LLM 训练中跨语言对齐的出现

多语言大型语言模型通过隐式对齐语言和神经元重叠达到零 - shot 跨语言转移性能，本研究使用内在探测技术通过检查点观察到神经元重叠和下游性能之间的高相关性，同时探测到预训练过程中隐式对齐和多语言能力的退化现象，为多语言预训练动态提供了新的见解。

Jun, 2024

语言变色龙：基于预训练语言模型的跨语言后训练转换分析

本研究采用跨语言后训练 (XPT) 基于单一低资源语言进行了广泛的评估和探测实验，结果显示 XPT 不仅优于或与训练数据数量更多的单语模型的表现相当，而且转移过程非常高效。

Sep, 2022

跨语言语言模型预训练

本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式，另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

Jan, 2019

以字节衡量跨语言转移

通过实验证实，多语言预训练可以在源语言和目标语言之间进行跨语言迁移，且不仅语言污染和语言近似性是影响迁移的因素，还有一种语言无关的知识组件，可以用于跨语言迁移和知识传递。

Apr, 2024

基于预训练的跨语言自然语言生成

本文使用序列到序列模型进行自然语言生成任务，使用预训练的方法并将编码器和解码器用于单语和跨语言，实现零 - shot 跨语言转移、提高低资源语言的 NLG 性能。

Sep, 2019

先对齐，再预测：理解多语言 BERT 的跨语言能力

使用一种新的层摘除技术和模型内部表示的分析方法，我们发现多语言 BERT 可看作两个子网络的堆叠：一个多语言编码器和一个任务特定的语言无关的预测器。编码器对于跨语言传递非常关键，在微调过程中大部分不变，而任务预测对传递影响很小，可以在微调期间重新初始化。

Jan, 2021

跨语言结构引导及双语语言模型的预训练动态

多语言语言模型是否在不同语言之间共享抽象语法表示以及这些抽象语法表示是何时形成的？我们使用结构启动测试进行研究，发现跨语言结构启动效应在第二语言曝光不到 1M 标记的数据后就会早期显现，并讨论了数据污染、低资源转移以及多语言模型中抽象语法表示形成的意义。

Oct, 2023

预训练后的对齐：通过跨语言对齐提升多语生成模型

通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

Nov, 2023

神经语言模型的第二语言习得

本文研究了神经语言模型的第二语言习得，通过对双语 LM 的训练和分析交叉语言传递，发现在语言迁移配置方面，L1 预训练可以加速 L2 的语言泛化，并且影响泛化的因素非常明显，研究了它们在特定方面的非人类的 L2 习得能力。

Jun, 2023

跨语言迁移中多源语言训练的分析

多语种语言模型，交叉语言迁移，源语言，嵌入空间，语言组合

Feb, 2024