通过探讨预训练语言模型中事实知识存储的机制，本研究提供了对退化知识神经元（DKNs）进行综合定义的方法，包括其结构和功能方面，并研究了在事实知识存储单元中结构的形成，为其引入神经拓扑聚类方法和神经退化分析框架，该框架综合评估了模型的鲁棒性、可进化性和复杂性，通过 34 个实验在两个预训练语言模型、四个数据集和六个设置上成功验证了 DKNs 的关键作用。

Feb, 2024

多语种知识编辑 (MKE) 旨在同时修订大型语言模型 (LLMs) 中的事实知识。我们研究了 LLMs 如何表示多语种事实知识，并发现不同语言中的相同事实知识通常激活一组共享的神经元，我们称之为语言不可知事实神经元。基于此发现，我们提出了一种通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法。在 Bi-ZsRE 和 MzsRE 基准上的实验结果表明，我们的方法优于现有的 MKE 方法，并取得了显著的编辑性能，表明考虑多语种知识之间的语义连接的重要性。

Jun, 2024

重新评估了 Knowledge Neuron (KN) Thesis，发现其对于大型语言模型从训练语料库中提取事实的机制的解释过于简化，并且无法充分解释事实表达的过程，需要进一步研究模型的复杂层结构和注意机制来获得更全面的知识表示过程的理解。

May, 2024

大型语言模型可以存储广泛的事实知识，但其存储和表达这些知识的机制仍不清楚。本论文重新考察了知识定位假设的合理性，并从统计学和知识修改的角度确认了不符合该假设的事实的存在。进一步提出了关联查询和知识选择的方法，以及一种改进知识修改的一致性感知方法。通过 39 组实验证实了我们的结论。

May, 2024

本文提出预训练模型中知识神经元的概念并探究其如何存储事实知识，通过使用填空测试来确定知识神经元并证明其与对应事实的正相关性。进一步研究表明，可以利用知识神经元对特定的事实进行编辑并揭示了其存储知识的方式。

Apr, 2021

通过神经元特化，提出一种解决多语言翻译中干扰和促进知识转移的方法，并通过大量实验证明了其相比强基准模型的性能提升以及减少干扰并增加知识转移的效果。

Apr, 2024

当前基于解码器的预训练语言模型（PLMs）成功展示了多语言能力，但这些模型如何处理多语言仍不清楚。我们分析了多语言解码器 PLMs 的神经元级内部行为，特别是考察解码器 - 仅多语言 PLMs 内部是否存在 “独特地只为每种语言” 激活的神经元。我们分析了六种语言：英语、德语、法语、西班牙语、中文和日语，并显示每种语言的语言特定神经元是唯一的，在不同语言之间存在轻微的重叠（<5%）。这些神经元主要分布在模型的前几层和最后几层。此趋势在所有语言和模型中始终一致。此外，在推断过程中，我们对每个模型中少于 1% 的神经元进行干扰，并展示了对少数语言特定神经元的干扰会大幅改变生成文本中目标语言发生的概率。

Apr, 2024

该研究提出了一种神经知识语言模型 (NKLM)，将知识图提供的符号化知识与 RNN 语言模型相结合，通过预测所生成的单词是否具有潜在事实，从预测事实的描述中复制生成这些与知识相关的单词。实验结果表明，NKLM 显著提高了性能的同时，生成了更少的未知词。

Aug, 2016

神经语言模型在自然语言处理任务中学习复杂实体表示成为强大工具，然而在计算生物学等领域中，其可解释性仍然是一个重要挑战。本研究旨在通过识别和表征知识神经元增强蛋白质语言模型（特别是 ESM 模型）的可解释性，通过将 ESM 模型针对酶序列分类任务进行微调，在比较两种保留原始模型中的子集神经元的知识神经元选择方法方面取得了一致优于随机基准线的结果。尤其是这些方法表明自注意力模块的关键向量预测网络中存在高密度的知识神经元，考虑到关键向量专门用于理解输入序列的不同特征，这些知识神经元可以捕捉不同的酶序列基序知识。未来，可以对每个神经元所捕捉到的知识类型进行表征。

Dec, 2023

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

Nov, 2022