多语言大型语言模型中的概念空间对齐
该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的AWESOME单词嵌入式多语言编码对齐器的实际性能
Jan, 2021
本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用BERT和BiLSTM模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。
Sep, 2021
本研究提出了一种新的预训练目标ALIGN-MLM，该目标通过辅助损失来引导不同语言中相似的词具有相似的词嵌入，实现跨语言转移学习中的单词嵌入对齐，此方法在机器学习中的应用具有广泛的前景。
Nov, 2022
利用语言的语法方面作为测试基础，我们的分析揭示了对于仅编码器和仅解码器的大型语言模型，语言的结构概念空间之间具有高度的对齐度。然后，我们提出了一种基于元学习的方法来学习不同语言之间的概念空间对齐，从而实现零样本学习和少样本学习，并增进了对跨语境情景的学习现象的理解。在语法分析任务上的实验表明，我们的方法与最先进的方法相比取得了竞争性的结果，并缩小了语言之间的性能差距，特别有助于那些资源有限的语言。
Oct, 2023
我们研究多语言语言模型在不平衡的以英语为主导的语料库上是否使用英语作为内部枢纽语言，以关键的重要性问题来理解语言模型的功能和语言偏见的起源。通过跟踪高维空间中的中间嵌入，我们发现了三个不同的阶段，这些阶段分别在“输入空间”、“概念空间”和“输出空间”中操作。关键的证据表明，抽象的“概念空间”更接近于英语而不是其他语言，这可能对多语言语言模型所持的偏见有重要影响。
Feb, 2024
通过对语言模型的功能区域进行探索，揭示了其智能化基础，发现其核心区域与语言能力相关，移除该区域会显著降低其性能，在不同的单语家族中存在不同的区域，并且破坏这些特定区域会大幅降低多语言模型在相应语言中的能力。此外，冻结核心语言区域在进一步预训练中可以缓解灾难性遗忘问题。
Feb, 2024
该研究分析了多语言大型语言模型（MLLMs）的关键问题，包括语言不平衡、多语言对齐和固有偏差，探讨MLLMs的全球语言表示能力、偏见和挑战，并提出了有前景的研究方向。
Apr, 2024
对大型语言模型（LLMs）在多语种环境中的应用进行了综述，包括训练和推理方法、模型安全性、多领域与语言文化、数据集使用，同时讨论了相关方面的主要挑战和潜在解决方案，并提出了进一步增强语言模型的未来研究方向。
May, 2024
通过多语言对齐方法，本文研究了大型语言模型的多语言能力提升，发现即使在没有注释答案的情况下，仅通过问题翻译数据进行训练的语言模型能够在广泛的未见过的语言中获得显著的性能提升，并利用不同的设置和机理解释方法对多语言场景下的语言模型性能进行了全面分析。
May, 2024
利用聚类方法探索多语言模型中的潜在概念，研究多语言嵌入之间的对齐和重叠程度，通过引入两个度量指标 CA 和 CO 进行定量分析，发现网络的深层对齐性较好，模型的微调增强了潜在空间中的对齐性，任务特定的校准有助于解释模型的零射击能力的出现。
May, 2024