大型语言模型的表示空间中如何编码语义含义是可解释性中的一个根本问题。本文研究了这一领域的两个基本问题：第一，如何表示类别概念，如 “哺乳动物”、“鸟类”、“爬行动物”、“鱼类” 等；第二，如何编码概念之间的层级关系，例如 “狗” 是 “哺乳动物” 的一种。我们通过扩展线性表示假设来回答这些问题，并发现了一个非常简单的结构：简单的类别概念被表示为单纯形，具有层级关系的概念在某种意义上是正交的，并且（作为结果）复杂的概念被表示为由单纯形的直和构成的多面体，反映了其层级结构。我们使用来自 WordNet 的数据验证了这些理论结果，在 Gemma 大型语言模型上估计了 957 个具有层级关系的概念的表示。

Jun, 2024

利用头部归因方法控制模型行为，将模型表现局部化，并提供了一种概念验证方法，展示如何在运行时动态地控制模型行为。

Oct, 2023

通过探究 GPT-3 生成的语义特征，以及这些特征与通过人工选择实验得出的特征列表之间的共同点，此项研究证实了使用大型语言模型自动生成可解释特征集的潜力，并且扩大了各种心理和语言研究中语义特征的使用范围。

Feb, 2022

本文使用因果干预技术研究了自回归转换语言模型中实际关联的存储和检索，并发现这些关联对应于本地化的可直接编辑的计算。研究表明中间层前馈模块在存储实际关联方面具有重要作用，并且为模型编辑提供了直接操作计算机制的方法。

Feb, 2022

通过基于范畴论的简洁概念表示，可以训练模型从而精确理解概念，并产生不变性属性以及层级分解，以验证每个部分来学习复杂概念或纠正误解。

Mar, 2023

本文研究了语言模型在推理过程中利用存储的知识的能力，发现预训练的语言模型在知识检索方面表现出色，但在简单的分类、比较和逆向搜索任务方面表现较差，即使在训练和推理过程中使用了控制思维链。研究的主要贡献是通过一个合成数据集的控制实验，证实了语言模型无法有效地操作预训练数据中的知识，即使这些知识完全存储且模型可以完全提取，且进行了适当的指导微调。

Sep, 2023

该研究探讨了语言模型内的概念形成和对齐，提出了一种识别语言模型中概念和它们之间层次组织的机制，从 Glove 到 ALBERT 和 T5 等不同的语言模型，利用这些模型生成的语义嵌入中的内在结构提取出概念的分类和层次关系，从而揭示了语言模型如何发展概念理解，并为进一步改善它们的推理能力和运用真实世界知识的能力开启了研究之门。同时，我们进行了实验证明了从基于 transformer 的语言模型中独立提取这些抽象概念表示的可能性。通过观察到的概念形成以及将概念表示从推理模块中隔离出来，可以实现有针对性的标记工程，为知识转移、可解释的人工智能和开发更模块化、概念基础的语言模型带来潜在应用。

Jun, 2024

这项研究比较了用于提取与穴位位置相关关系的传统深度学习模型（如 LSTM 和 BioBERT）与大型语言模型（LLM）GPT 的性能，并评估预训练和微调对 GPT 性能的影响。结果显示，微调的 GPT-3.5 在所有关系类型上一直表现优于其他模型，整体上达到了最高的微平均 F1 得分为 0.92。研究强调了像 GPT 这样的 LLM 在提取与穴位位置相关的关系方面的有效性，对准确建模针灸知识并促进其在针灸培训和实践中的标准化实施具有重要意义。该研究还有助于推动传统和综合医学中的信息学应用，展示了 LLM 在自然语言处理中的潜力。

Apr, 2024

本文提出了一个新颖的框架 ConceptX，利用聚类发现预训练语言模型中编码的潜在概念，并通过与大量人类定义的概念进行对齐进行解释。它在七个变压器语言模型上的分析揭示了有趣的见解：i）学习表示中的潜在空间以不同的程度与不同的语言概念重叠，ii）模型中的较低层由词汇概念（例如，词缀）主导，而核心语言概念（例如，形态或句法关系）在中高层中更好地表示，iii）一些编码的概念具有多面性，无法用现有的人类定义概念充分说明。

Jun, 2022

人工编辑语言模型的知识注入对语义的一致性要求较高，现有的基准数据集无法充分评估一致性，本文创建了 TAXI 基准数据集，并使用它评估了流行编辑器的一致性表现，发现编辑器的一致性明显低于人类基准，且在编辑非典型主题时更易实现一致性。

Apr, 2024