May, 2022

基于 Transformer 的知识归属模式挖掘

PDF
TL;DR本文研究了 Knowledge Neurons 框架的知识神经元以及它们在 Transformer 网络中对于事实和关系知识的归因。研究发现，大多数的事实知识可以归属于网络的中高层。而中间层次则更多负责关系信息，最后数层则进一步提炼成实际的事实知识或 “正确答案”。此外，本文的实验还表明，该模型可处理不同语言的提示，但提供了类似的信息，进一步证明了多语言预训练技术的有效性。研究还将归属方案应用于语法知识，发现语法知识比事实知识更为分散。
发现论文，激发创造
  • 预训练变压器网络中的知识神经元

    本文提出预训练模型中知识神经元的概念并探究其如何存储事实知识，通过使用填空测试来确定知识神经元并证明其与对应事实的正相关性。进一步研究表明，可以利用知识神经元对特定的事实进行编辑并揭示了其存储知识的方式。

    Apr, 2021

  • BERTnesia: 探究 BERT 中知识的捕捉和遗忘

    这篇文章探讨了 BERT 模型如何从它的参数化内存中获取关系知识，并使用知识库补全任务在 BERT 的每一层中进行了测试。作者发现，中间层对于 BERT 模型中的总知识量贡献了很大的部分，同时发现 fine-tune 时，与训练数据和训练目标有关。而容量和事实密度是学习事实的关键。

    Jun, 2021

  • 预训练 Transformer 中的知识传递

    研究人员通过深入研究语言模型的计算图，发现知识电路在表达特定知识方面起到了重要作用。他们还评估了当前知识编辑技术对这些知识电路的影响，并利用知识电路分析和解释语言模型的行为。这些研究为我们理解 Transformer 的工作原理以及指导知识编辑的改进设计提供了深入的见解。

    May, 2024

  • 自回归语言模型中事实关联的回忆解剖

    本文通过信息流的视角研究了基于 Transformer 的语言模型如何在推理过程中检索参数中的实际知识，并通过对模型中注意力机制的介入实现了对预测中信息流的详细分析和理解。通过此研究，我们阐述了在语言模型中实现知识局部化和编辑的方法。

    Apr, 2023

  • 知识神经元论与知识有什么关系？

    重新评估了 Knowledge Neuron (KN) Thesis，发现其对于大型语言模型从训练语料库中提取事实的机制的解释过于简化，并且无法充分解释事实表达的过程，需要进一步研究模型的复杂层结构和注意机制来获得更全面的知识表示过程的理解。

    May, 2024

  • 多语言语言模型事实的追溯：独立、共享和转移知识

    多语言语言模型中获取事实知识的方式以及如何在不同语言中保持一致的事实知识是一项重要的挑战。

    Mar, 2024

  • 生成语言模型中神经元信息性文本描述的探索

    使用 BERT 为例，本文提出了一种新颖且可扩展的框架，将文本描述与神经元联系起来，并通过生成式语言模型发现数据特定的可解释描述符，用于解释编码这些描述符的神经元。实验证明，该方法在识别神经元方面达到了 75% 的 2 阶精度和 50% 的 2 阶回想率。

    Jan, 2024

  • 多头多层注意力机制用于深度语言表示的语法错误检测

    利用经过预训练的语言表示模型的中间和最终层提取句子中的语法错误特征，通过多头多层的注意力模型，使用 Bidirectional Encoder Representation from Transformers (BERT) ，在三个语法错误数据集上实现更好的 F_0.5 分数，比当前最先进的方法分别高出 6.0（FCE），8.2（CoNLL14）和 12.2（JFLEG）个百分点，并证明利用多头多层注意力，我们的模型可以利用句子中每个记号的更广泛信息。

    Apr, 2019

  • 预训练转换器的神经知识库

    本文提出一种神经知识库及知识注入策略，将额外的事实知识注入到预训练模型中，验证了其对模型性能的提升，同时保证了模型通用语言建模能力的不变性，并探讨了知识库的可解释性和灵活性。

    Jul, 2022

  • 揭示语言模型的参数化知识：一种统一的归因方法框架

    我们的研究引入了一种新的评估框架，用于量化和比较 IA 和 NA 揭示的知识，并通过广泛的实验和分析表明，与 IA 相比，NA 通常揭示了更多关于 LM 的参数化知识的多样性和全面性信息，然而，IA 提供了有关 LM 的参数化知识的独特而有价值的见解，这不是由 NA 揭示的。我们的研究结果进一步表明，结合 IA 和 NA 的多样化发现可能对 LM 的参数化知识有更全面的理解。

    Apr, 2024