通过新的检测方法 - 语言激活概率熵（LAPE），我们研究了大型语言模型中的 Transformer 架构，以确定语言特定的区域，并显示了激活或关闭特定语言神经元对大型语言模型输出语言的可控性。

Feb, 2024

通过神经元特化，提出一种解决多语言翻译中干扰和促进知识转移的方法，并通过大量实验证明了其相比强基准模型的性能提升以及减少干扰并增加知识转移的效果。

Apr, 2024

大型语言模型在跨多种语言表现出卓越的性能。本文探讨了大型语言模型处理多语言的方式，提出了一个处理多语言输入的框架，并利用该框架验证其有效性，并展示如何通过该框架有效提升多语言能力。

Feb, 2024

通过将大型语言模型（LLMs）转换为专家混合（MoE）架构，分析其在处理各种语言时的专家激活模式，探索并发现非语言特定神经元和语言特定激活神经元的存在，并展示了仅利用高频激活神经元可以在保持相当性能的同时加速推理的可能性，这些发现为 LLMs 的多语言处理机制提供了启示，对指导 LLMs 的多语言训练和模型修剪具有重要意义。

Feb, 2024

该研究采用神经元级别探测器，在包括 43 种语言的 14 个形态句法类别上进行了大规模的实证研究，并发现了多语言预训练模型的跨语言重叠是显著的，但其范围可能因语言接近性和预培训数据的大小而异，支持其能够对语法进行语言通用的抽象。

May, 2022

该研究通过在不同语言的多语言语言模型和单语 BERT 模型中执行反事实扰动，并观察模型主谓一致概率的效果，发现了受语法一致性影响的神经元的分布情况，语言模型的行为分析可能低估了掩码语言模型对语法信息的敏感性。

Oct, 2022

本研究探讨了使用深度 NLP 模型学习的表示来捕捉语言知识。在核心语言学任务上进行了神经元级别的分析，研究了预训练的语言模型中的神经元是否捕捉了语言信息，哪些部分学习了某些语言现象，信息分散或集中在哪里，以及不同架构在学习这些属性方面的差异。本研究发现预测语言任务的神经元是小的子集，与较低级任务（如形态学）相比，预测句法这样的更高级任务的神经元更加分散。同时，本研究还揭示了有趣的跨架构比较，比如我们发现在预测性质方面，XLNet 中的神经元更加局部化和不连通，而 BERT 等则更加分布式和耦合。

Oct, 2020

本篇研究论文提出了一种新的多语言神经机器翻译模型，将模型神经元划分为通用部分和特定语言部分，以解决当前的多语言翻译方法忽略语言特定知识的问题。实验证明，该方法对于多种语言对有很好的效果和普适性。

Jul, 2021

当前基于解码器的预训练语言模型（PLMs）成功展示了多语言能力，但这些模型如何处理多语言仍不清楚。我们分析了多语言解码器 PLMs 的神经元级内部行为，特别是考察解码器 - 仅多语言 PLMs 内部是否存在 “独特地只为每种语言” 激活的神经元。我们分析了六种语言：英语、德语、法语、西班牙语、中文和日语，并显示每种语言的语言特定神经元是唯一的，在不同语言之间存在轻微的重叠（<5%）。这些神经元主要分布在模型的前几层和最后几层。此趋势在所有语言和模型中始终一致。此外，在推断过程中，我们对每个模型中少于 1% 的神经元进行干扰，并展示了对少数语言特定神经元的干扰会大幅改变生成文本中目标语言发生的概率。

Apr, 2024

多语言大型语言模型通过隐式对齐语言和神经元重叠达到零 - shot 跨语言转移性能，本研究使用内在探测技术通过检查点观察到神经元重叠和下游性能之间的高相关性，同时探测到预训练过程中隐式对齐和多语言能力的退化现象，为多语言预训练动态提供了新的见解。

Jun, 2024