Apr, 2024

揭示语言模型的参数化知识：一种统一的归因方法框架

PDF
TL;DR我们的研究引入了一种新的评估框架，用于量化和比较 IA 和 NA 揭示的知识，并通过广泛的实验和分析表明，与 IA 相比，NA 通常揭示了更多关于 LM 的参数化知识的多样性和全面性信息，然而，IA 提供了有关 LM 的参数化知识的独特而有价值的见解，这不是由 NA 揭示的。我们的研究结果进一步表明，结合 IA 和 NA 的多样化发现可能对 LM 的参数化知识有更全面的理解。
language modelsinstance attributionneuron attributionevaluation frameworkparametric knowledge
发现论文，激发创造
  • 大型语言模型中的关键神经元分析

    本研究引入了神经元归因逆向集群归因（NA-ICA）的新架构不受限于特定模型，能够有效识别大型语言模型中的关键神经元，并通过多选题回答的代理任务检查单词以外的长文本答案。经验评估证明，NA-ICA 明显优于基准方法。此外，对神经元分布的分析揭示了可见的局部区域，尤其在不同领域之间。最后，我们展示了关键神经元在知识编辑和基于神经元的预测中的潜在应用。

    Jun, 2024

  • 自然语言推理中归因方法评估的多语言视角

    本文提出了一种多语言方法，用于评估自然语言推理的归因方法在合理性和忠实度方面的表现，并通过单词对齐量化忠实度。认为效果最好的归因方法在合理性和忠实度方面不同，并用基于高亮的解释增强了 XNLI 数据集，提供了一个支持未来 exNLP 研究的多语言 NLI 数据集。

    Apr, 2022

  • 基于 Transformer 的知识归属模式挖掘

    本文研究了 Knowledge Neurons 框架的知识神经元以及它们在 Transformer 网络中对于事实和关系知识的归因。研究发现，大多数的事实知识可以归属于网络的中高层。而中间层次则更多负责关系信息，最后数层则进一步提炼成实际的事实知识或 “正确答案”。此外，本文的实验还表明，该模型可处理不同语言的提示，但提供了类似的信息，进一步证明了多语言预训练技术的有效性。研究还将归属方案应用于语法知识，发现语法知识比事实知识更为分散。

    May, 2022

  • NLP 实例归因方法的实证比较

    本文研究了深度模型的解释性和模型调试方法，对比了不同的实例归属性方法，发现简单的检索方法与梯度基础方法类似，但计算量更小。

    Apr, 2021

  • 使用神经网络语言模型进行作者归属判定

    研究了神经网络语言模型在作者归属问题上的性能，发现与传统非参数化模型相比，其性能更优越。

    Feb, 2016

  • 属性问答：针对属性化大语言模型的评估和建模

    本文研究基于属性的 LLM 发展，在开发 Attributed LLMs 的第一步骤中提出可重复的 Attributed QA 评估框架并评估多种结构。实验结果探讨了如何度量归属（attribution）以及现有方法在归属方面的表现如何，并提出了建立带归属特性的 LLMs 的可能方向。

    Dec, 2022

  • 朝可验证的生成方式迈进：知识感知语言模型归因的基准

    大型语言模型（LLMs）在可靠性方面通常存在不可靠的幻觉。在本文中，我们定义了一项名为知识感知语言模型归因（KaLMA）的新任务，它改进了传统归因语言模型的三个核心问题。

    Oct, 2023

  • 寻找神经策源地：从参数角度看大型语言模型的知识转移

    通过参数的视角，本文以敏感性为基础的技术来提取和对齐不同规模的大型语言模型之间的知识特定参数，并且使用 LoRA 模块作为注入提取的知识到较小模型的中间机制，通过四个基准测试验证了我们提出的方法的有效性，突出强调了影响参数化知识传递过程的重要因素，凸显了模型参数在不同规模的大型语言模型之间的可转移性。

    Oct, 2023

  • 大型语言模型上的神经作者归属性：风格分析

    通过实证分析大型语言模型（LLMs）的写作特征、对比专有和开源模型的异同、并探索通过语言的词汇、句法和结构方面的风格特征整合实现对 AI 生成文本的追溯，为神经网络作者归属提供经验性洞见，为应对 AI 生成的错误信息的威胁铺平道路。

    Aug, 2023

  • 追溯语言模型中的事实知识来源于训练数据

    本研究探讨了语言模型（LM）如何从训练数据中记忆大量的事实知识，同时提出了事实追溯的问题。为了解决该问题，比较了基于梯度和嵌入的两种不同的训练数据指向（TDA）方法，并发现仍有很大的改进空间。

    May, 2022