重新评估了 Knowledge Neuron (KN) Thesis，发现其对于大型语言模型从训练语料库中提取事实的机制的解释过于简化，并且无法充分解释事实表达的过程，需要进一步研究模型的复杂层结构和注意机制来获得更全面的知识表示过程的理解。

May, 2024

本研究揭示了多语种预训练语言模型中的事实知识是如何存储在参数中的，并引入了架构适应性多语种集成梯度方法，它相比现有方法更准确地定位知识神经元，并且在不同的架构和语言中更具普适性。此外，我们对知识神经元进行了深入探索，发现了两个重要发现：(1) 存储跨语言事实知识的语言无关知识神经元的发现；(2) 退化知识神经元的发现，它表明不同的知识神经元可以存储相同的事实。实验证明了这些发现，并为多语种预训练语言模型中事实知识存储的机制提供了宝贵的见解，源代码将公开供进一步研究使用。

Aug, 2023

该研究提出了一种神经知识语言模型 (NKLM)，将知识图提供的符号化知识与 RNN 语言模型相结合，通过预测所生成的单词是否具有潜在事实，从预测事实的描述中复制生成这些与知识相关的单词。实验结果表明，NKLM 显著提高了性能的同时，生成了更少的未知词。

Aug, 2016

多语种知识编辑 (MKE) 旨在同时修订大型语言模型 (LLMs) 中的事实知识。我们研究了 LLMs 如何表示多语种事实知识，并发现不同语言中的相同事实知识通常激活一组共享的神经元，我们称之为语言不可知事实神经元。基于此发现，我们提出了一种通过定位和修改语言不可知事实神经元来同时编辑多语种知识的新方法。在 Bi-ZsRE 和 MzsRE 基准上的实验结果表明，我们的方法优于现有的 MKE 方法，并取得了显著的编辑性能，表明考虑多语种知识之间的语义连接的重要性。

Jun, 2024

本文介绍了一种基于控制语言 CNL 的知识编写和查询方法，通过对 KALM 系统的扩展，提出了可以回答更复杂问题的 KALM-QA，并与机器学习方法进行了对比，结果表明 KALM-QA 在回答电影相关问题方面能够达到 100% 的准确率。

Jul, 2019

本文提出了一种名为 KnowledgeNavigator 的新型框架，通过从知识图中高效准确地检索外部知识并将其作为增强 LLM 推理的关键因素，以解决 LLM 在需要长逻辑链或复杂推理的场景中所存在的幻觉和知识限制的问题。通过对给定问题的潜在约束进行挖掘和增强，KnowledgeNavigator 指导推理过程；然后，在 LLM 和问题的指导下，通过对知识图上的迭代推理来检索和过滤支持回答的外部知识；最后，KnowledgeNavigator 将结构化知识构建为对 LLM 有利的有效提示，以帮助其推理。实验证明该框架在多个公开的知识图问答基准测试上具有很高的效果和泛化能力，优于之前的知识图增强 LLM 方法，并且与完全监督模型相媲美。

Dec, 2023

本文通过基于神经网络自然语言解析器 mStanza 的 KALM 框架，针对事实性英语陈述进行事实和查询创作，并提出解决神经网络自然语言解析器存在的词性标注、词形还原和依赖解析错误等问题的技巧，通过测试表明，该系统的正确性超过了 95%。

Aug, 2022

本研究引入了神经元归因逆向集群归因（NA-ICA）的新架构不受限于特定模型，能够有效识别大型语言模型中的关键神经元，并通过多选题回答的代理任务检查单词以外的长文本答案。经验评估证明，NA-ICA 明显优于基准方法。此外，对神经元分布的分析揭示了可见的局部区域，尤其在不同领域之间。最后，我们展示了关键神经元在知识编辑和基于神经元的预测中的潜在应用。

Jun, 2024

利用证据文档作为额外支持材料的知识选择方法可有效解决大型语言模型面临的幻觉问题和知识密集任务，提升大型语言模型的性能。该方法使用三元组从证据文档中选择有益于回答问题的知识片段，并与大型语言模型结合产生答案，实验证明其优于基线方法并取得最佳结果。

Apr, 2024

通过探讨预训练语言模型中事实知识存储的机制，本研究提供了对退化知识神经元（DKNs）进行综合定义的方法，包括其结构和功能方面，并研究了在事实知识存储单元中结构的形成，为其引入神经拓扑聚类方法和神经退化分析框架，该框架综合评估了模型的鲁棒性、可进化性和复杂性，通过 34 个实验在两个预训练语言模型、四个数据集和六个设置上成功验证了 DKNs 的关键作用。

Feb, 2024