基于 transformer 语言模型的研究中，发现存在一种简单而可解释的、但在各种情况下应用不一的知识表示策略，其主要通过关系、线性变换以及预测表达出来。

Aug, 2023

通过因果中介分析，我们在事实回忆过程中确认了能够表达实体和关系概念的隐藏状态，这些隐藏状态可以视为关系表示，并能够在大语言模型中提取出来。实验证明这些关系表示具有高的可信度，并且可以灵活地应用于其他事实回忆过程和实体连接。此外，我们还展示了关系表示在关系重写方面具有显著的可控事实回忆潜力。

Jun, 2024

本文提出了一个新颖的框架 ConceptX，利用聚类发现预训练语言模型中编码的潜在概念，并通过与大量人类定义的概念进行对齐进行解释。它在七个变压器语言模型上的分析揭示了有趣的见解：i）学习表示中的潜在空间以不同的程度与不同的语言概念重叠，ii）模型中的较低层由词汇概念（例如，词缀）主导，而核心语言概念（例如，形态或句法关系）在中高层中更好地表示，iii）一些编码的概念具有多面性，无法用现有的人类定义概念充分说明。

Jun, 2022

高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。

Mar, 2024

我们提出了一种使用相对较小的语言模型从文本中提取关系嵌入的方法，这种方法可以在关系相似性方面取得出色的结果，并且在关键词和模型性能方面显著优于其他基于提示的语言模型。

Sep, 2023

提出了一种基于知识图谱关系的潜在关系语言模型 (Latent Relation Language Models, LRLMs), 该模型不仅能提高语言建模性能，还能添加实体跨度的后验概率，实验结果表明该模型的性能优于基准模型和之前的知识图谱信息存在的模型，定性分析进一步证明了所提议的模型在上下文中预测适当的关系的能力。

Aug, 2019

该研究探讨了语言模型内的概念形成和对齐，提出了一种识别语言模型中概念和它们之间层次组织的机制，从 Glove 到 ALBERT 和 T5 等不同的语言模型，利用这些模型生成的语义嵌入中的内在结构提取出概念的分类和层次关系，从而揭示了语言模型如何发展概念理解，并为进一步改善它们的推理能力和运用真实世界知识的能力开启了研究之门。同时，我们进行了实验证明了从基于 transformer 的语言模型中独立提取这些抽象概念表示的可能性。通过观察到的概念形成以及将概念表示从推理模块中隔离出来，可以实现有针对性的标记工程，为知识转移、可解释的人工智能和开发更模块化、概念基础的语言模型带来潜在应用。

Jun, 2024

利用语言的语法方面作为测试基础，我们的分析揭示了对于仅编码器和仅解码器的大型语言模型，语言的结构概念空间之间具有高度的对齐度。然后，我们提出了一种基于元学习的方法来学习不同语言之间的概念空间对齐，从而实现零样本学习和少样本学习，并增进了对跨语境情景的学习现象的理解。在语法分析任务上的实验表明，我们的方法与最先进的方法相比取得了竞争性的结果，并缩小了语言之间的性能差距，特别有助于那些资源有限的语言。

Oct, 2023

提出了一种通过线性极小极大博弈模型来定位和清空文本中的线性子空间，以防止线性预测器恢复与偏见相关的概念，该方法可以减轻内在和外在因素造成的偏见。

Jan, 2022

通过预训练的语言模型 (LMs) latent language representations 的普遍使用表明它们是一种有希望的结构化知识的来源。然而，现有方法只关注每对主体 - 关系中的一个对象，尽管经常有多个对象都是正确的。为了克服这个限制，我们分析这些表示的潜力，以产生实体化的多对象关系知识。我们将问题表述为一个排名 - 选择任务。对于排名候选对象，我们评估现有的提示技术，并提出融入领域知识的新技术。在选择方法中，我们发现选择具有高于学得的关系特定阈值的对象可得到 49.5% 的 F1 得分。我们的结果突显了使用 LMs 进行多值插槽填充任务的难度，为从潜在语言表示中提取关系知识的进一步研究铺平了道路。

Jul, 2023