- 用基于音译的后训练对齐打破多语言预训练语言模型的脚本障碍
使用基于音译的预训练后对齐（PPA）方法，改善使用不同文字脚本的相互关联低资源目标语言与高资源源语言之间的跨语言对齐，进而在跨语言转移任务中，提高模型性能达到 50% 的改进；同时使用非英语语言作为源语言转移，可获得更大的改进。
- 通过多语言提示翻译进行自然语言推理的跨语言迁移
基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器 - AAAICL2CM: 通过跨语言知识转移提升跨语言跨模态检索
跨语言跨模态检索致力于在不使用任何标注的视觉 - 目标语言数据对的情况下实现视觉和目标语言之间的对齐。本研究提出了一种名为 CL2CM 的通用框架，使用跨语言转移改善了视觉和目标语言之间的对齐，可在跨模态网络中为可靠全面的语义对应（知识）提 - EMNLP多语言表示的联合矩阵因式分析
我们提出了一种基于联合矩阵分解的分析工具，用于比较多语言和单语言模型的潜在表示。我们使用这个工具，研究了多语言预训练模型学习的表示中在何种程度上和如何反映了形态句法特征。通过对 33 种语言和 17 种形态句法类别进行大规模实证研究，我们发 - CLICKER: 基于关注的跨语言常识知识转移
提出了 CLICKER 框架，通过将非常识知识与常识知识区分开来，最小化了英语和非英语语言在常识问答任务中的性能差距，实验结果表明 CLICKER 对于非英语语言的跨语言常识推理任务取得了显着的改进。
- ALIGN-MLM: 多语言预训练中的词嵌入对齐至关重要
本研究提出了一种新的预训练目标 ALIGN-MLM，该目标通过辅助损失来引导不同语言中相似的词具有相似的词嵌入，实现跨语言转移学习中的单词嵌入对齐，此方法在机器学习中的应用具有广泛的前景。
- FLEURS: 语音通用表示的少样本学习评估
介绍 FLEURS，这是一个 Few-shot Learning Evaluation of Universal Representations of Speech 基准，包含 102 种语言的 n 方并行语音数据集，可用于自动语音识别 ( - ACL用预训练模块化 Transformer 解除多语言性的诅咒
该研究通过引入语言特定模块解决了多语言预训练模型中语言性能下降的问题，并在自然语言推断，命名实体识别和问答等方面证明了该方法的有效性，同时也使得可以在不降低性能的情况下添加新的语言。
- ACL同一神经元，不同语言：探究多语言预训练模型中的形态语法
该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。
- ACL学习语义解耦表示以实现多语言机器阅读理解中的零样本跨语言转移
本文提出一种新颖的多语言机器阅读理解框架，配备 Siamese Semantic Disentanglement Model（SSDM），用于在多语言预训练模型中学习的表示中分离语义和句法，以明确将语义知识转移到目标语言；实验证明，该方法比 - 俄语 SuperGLUE 1.1：修正俄语 NLP 模型未吸取的教训
该论文介绍了俄语 SuperGLUE 1.1，这是一个基于 GLUE 风格的更新版基准测试，专为俄语 NLP 模型设计。新版包括了各种技术、用户体验和方法论的改进，并提升了基准测试工具包，以支持各种架构的 NLP 模型。同时，作者还将 Su - EMNLP为机器翻译学习紧凑的度量
使用 RemBERT 模型的实验表明，模型大小限制了跨语言转换的效率，将知识从一名教师传递到以相关语言训练的多个学生可以通过蒸馏解决这个问题，该方法可以使性能提高 10.5％，并仅使用 RemBERT 的三分之一的参数即可达到 92.6％的 - ACL多语言 BERT 嵌入空间中的各向同性分析
研究探讨如何解决多语种 BERT 模型在语言表示中的异构性以及异常维度，以提高其表现力和性能，并发现各种语言的嵌入空间在结构上部分类似。
- EMNLP多语言预训练中的表征语义共同体发现
介绍了一种新的多语种预训练模型方法，基于语言的相似性将目标语言划分为若干组，并对每组构建一个预训练模型，实验中在跨语言基准测试中与强基线模型相比获得了显著的提升。
- EMNLP双语对齐预训练用于零样本跨语言转移
本文提出了一种利用统计对齐信息作为先验知识以指导跨语言词语预测的预训练任务 Word-Exchange Aligning Model（WEAM），并在多语种机器阅读理解任务 MLQA 和自然语言接口任务 XNLI 上进行评估，结果表明 WE - ACL提高多语言机器阅读理解答案边界检测能力
本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。
- EMNLP跨语言语义解析器的引导
本研究的主要目的是使一个语义解析器模型从英语语言转移到其他多种语言和领域上，通过机器翻译、释义、多语言预训练模型，我们得出一个基于 Transformer 的语义解析器，用于在德语和中文中准确解析。实验表明，机器翻译结合多组 MT 引擎释义