多语言语言模型中获取事实知识的方式以及如何在不同语言中保持一致的事实知识是一项重要的挑战。

Mar, 2024

该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。

Oct, 2020

通过研究多语言模型的语言学表示，我们发现针对低资源语言，以某个语言家族或地理位置为重点且由这些语言使用者构建的社区中心模型在区分同一语言家族的语言方面表现更好，有助于理解多语言模型的问题并提供改进方法。

Oct, 2023

该研究认为，单纯使用翻译质量度量多语言神经机器翻译中的知识转移并不足够。为了支撑这一观点，引入了 “表示转移潜力”（RTP），用于衡量不同语言之间的表示相似性，并发现 RTP 可测量正向和负向的迁移（干扰），并且 RTP 与翻译质量变化强相关。除此之外，还研究了影响迁移的数据和语言特征，并认为多重并行重叠是一个重要而未被充分利用的特征。基于此，开发了一种新型训练方案，使用辅助相似性损失，通过利用多重并行数据鼓励表示在不同语言之间更具不变性。证明这种方法可提高多种数据和模型情况下低资源语言的翻译质量。

May, 2023

本研究通过提出 Prix-LM 模型，利用大型预训练语言模型在多种语言间进行联合表示，构建和完善多语言知识库，并在实体相关任务方面展示其有效性。

Oct, 2021

本文调查了多语言语言模型（如 mBERT 和 XLM-R）在一些语言下对事实知识预测的一致性，并发现尽管在英语下，这些模型的一致性与其单语言模型相似，但在其他 45 种语言下，这些模型的一致性程度却较低。

Mar, 2022

跨语言能力：大型语言模型在不同语言的推理任务中展示出令人印象深刻的推理能力。本研究将推理任务分解为两个独立的部分：知识检索和无知识推理，并分析它们的跨语言可迁移性。通过适应和构建无知识推理数据集，我们展示了无知识推理能力可以在各种资源中几乎完全可转移，尽管在某些特定目标语言中存在资源的次要影响，而跨语言知识检索显著阻碍了迁移。此外，通过分析推理任务中的隐藏状态和前馈网络神经元的激活，我们展示了隐藏表示的更高相似性和激活神经元的更大重叠可以解释无知识推理比知识检索具有更好的跨语言可迁移性。因此，我们假设无知识推理嵌入了某种语言共享的机制，而知识则分别存储在不同的语言中。

Jun, 2024

利用一个名为 AlterRep 的方法，运用因果分析技术对多语言模型的内部结构进行研究，发现大规模多语言模型中存在着既有语言特定的组件又有语言通用组件，并展示了反事实推理方法在多语言模型上的应用前景。

Oct, 2023

通过评估六种最先进的大型语言模型在跨语言任务上的表现，本研究发现尽管这些模型在机器翻译和嵌入空间分析上展现了表层的跨语言能力，但在更深层次的跨语言知识转移上存在困难，揭示了跨语言知识壁垒的存在。同时提出在混合语言数据上对大型语言模型进行微调的方法，有效减少了这些差距，甚至在使用维基文本等域外数据集时也能取得良好效果。研究发现需要明确的优化方式来发挥大型语言模型的完整跨语言潜力。

Jun, 2024

通过多重表示的大型语言模型的转移，我们研究了一种将语言学知识整合到端到端自动语音识别系统中的有效技术，证明了这种方法是传输单一表示的有效替代方案。

Sep, 2023