用于在 Transformer 语言模型的给定隐藏层中找到对应于可解释的人类概念的概念方向的线性关系概念技术（LRC）通过首先将主体和客体之间的关系建模为线性关系嵌入（LRE），并在倒转 LRE 同时使用较早的客体层，从而找到既可以作为分类器良好工作又能因果地影响模型输出的概念方向。

Nov, 2023

该综述着重探讨如何通过训练深度上下文语言模型，在没有人为限制下更灵活地内部化和表达关系知识，对知识表示策略进行分类，提出了高层次的可扩展分类法，并强调了当前语言模型在知识表示方面的能力与未来的研究方向。

Apr, 2021

在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。

Nov, 2023

通过对 Large Language Models（LLMs）的实证分析，本文提出了一种新的端到端框架，能够解码 LLMs 中隐藏的事实知识，并使用时间性知识图表达其在各层中的演化，以实现对 LLMs 的机理解释。通过局部和全局的解释性分析，揭示了 LLMs 中存在的潜在错误和事实知识的演化模式，从而为 LLMs 的机理解释迈出了一步。

Apr, 2024

提出了一种基于知识图谱关系的潜在关系语言模型 (Latent Relation Language Models, LRLMs), 该模型不仅能提高语言建模性能，还能添加实体跨度的后验概率，实验结果表明该模型的性能优于基准模型和之前的知识图谱信息存在的模型，定性分析进一步证明了所提议的模型在上下文中预测适当的关系的能力。

Aug, 2019

本研究提出了一种新的神经实体链接模型，将实体链接中的关系视为潜在变量，并在优化实体链接系统的同时诱导这些关系，同时取得了 AIDA-CoNLL 基准测试上最好的结果。

Apr, 2018

我们提出了一种使用相对较小的语言模型从文本中提取关系嵌入的方法，这种方法可以在关系相似性方面取得出色的结果，并且在关键词和模型性能方面显著优于其他基于提示的语言模型。

Sep, 2023

本论文使用预训练的知识图谱嵌入模型，结合文本语料库的句子级上下文表示，实现了较高性能的关系抽取模型，并通过实验验证了该方法的有效性和出色性能。

Jun, 2023

通过预训练的语言模型 (LMs) latent language representations 的普遍使用表明它们是一种有希望的结构化知识的来源。然而，现有方法只关注每对主体 - 关系中的一个对象，尽管经常有多个对象都是正确的。为了克服这个限制，我们分析这些表示的潜力，以产生实体化的多对象关系知识。我们将问题表述为一个排名 - 选择任务。对于排名候选对象，我们评估现有的提示技术，并提出融入领域知识的新技术。在选择方法中，我们发现选择具有高于学得的关系特定阈值的对象可得到 49.5% 的 F1 得分。我们的结果突显了使用 LMs 进行多值插槽填充任务的难度，为从潜在语言表示中提取关系知识的进一步研究铺平了道路。

Jul, 2023

大型语言模型在知识提取、推理和对话方面显示出与人类相似的表现，但是它们的表现究竟是通过记忆和模式匹配来解释的，还是反映了人类般的推理语义和世界知识，存在争议。本文展示了大型语言模型学习以类似于知识库的方式组织概念，这些知识库提供了推理语义和世界知识的大规模高质量表征。大型语言模型似乎从原始文本中引出这种知识，而更大更好的模型表现出更符合人类的概念组织，涵盖了四个系列的语言模型和三个知识图谱嵌入。

Aug, 2023