提出了两种新的单词向量表示模型，通过神经网络计算大型数据集中单词的连续向量表示，相较于其他神经网络技术在词语相似度任务上提高了准确性且计算效率更高，此外还展示了这些向量在测量语法和语义相似度的测试集上有最先进的性能表现。

Jan, 2013

本文提出了一种新的方法来解释任意分布词向量空间的样本，它训练了一个神经模型来生成高级别概念，并且能够在原始向量空间中学习非线性关系。同时，它产生的激活轮廓比流行的余弦相似性少得多。

Apr, 2019

通过稀疏子空间聚类的方法，探究概念基础解释和概念子空间作为深度学习模型行为的关键组成部分，从而更深入地理解模型行为。

Mar, 2022

本文研究了语言模型在上下文学习中的机制和解决问题的策略，发现虽然它们规模巨大和复杂，但其实有时候它们会利用简单向量算术的机制编码抽象关系，并且利用前馈网络的简单线性更新算法来完成各种任务，在一定程度上具有可解释性。

May, 2023

该研究旨在从新的角度——发现内在的任务特定子空间，重新参数化和微调预训练语言模型。研究表明，在这个子空间中，预训练语言模型可以通过小部分可调参数进行有效地微调，而一些突兀出现的维度则关键地诱发了特定任务的知识。

May, 2023

该研究比较了三种聚类算法：凝聚层次聚类、领导算法和K-Means聚类，发现K-Means具有潜力在单词和短语层面上对编码概念进行大规模发现。

Aug, 2023

用于在Transformer语言模型的给定隐藏层中找到对应于可解释的人类概念的概念方向的线性关系概念技术（LRC）通过首先将主体和客体之间的关系建模为线性关系嵌入（LRE），并在倒转LRE同时使用较早的客体层，从而找到既可以作为分类器良好工作又能因果地影响模型输出的概念方向。

Nov, 2023

高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。

Mar, 2024

该研究论文提出了一种自监督可解释概念嵌入模型（ICEMs），通过利用大型语言模型的泛化能力，在自监督方式下预测概念标签，并通过可解释的函数提供最终预测结果。实验结果表明，ICEMs可以以自监督方式进行训练，并达到类似于全监督概念模型和端到端黑盒模型的性能。此外，该模型在预测方面具有解释性、互动性和可控性，能够提供有意义的逻辑解释、允许通过概念干预修改中间预测结果，并引导大型语言模型按照所需的决策路径进行解码。

Jun, 2024

通过干预中间模型激活来有效调整语言模型行为的截向矢量（Steering Vectors）是一种新的方法，但其可靠性和泛化属性尚不明确。我们对这些属性进行了严格的研究，发现截向矢量在分布内外都存在重大限制，并且在某些概念上对输入的每个有效性具有显著的变异性，这给广泛使用截向矢量带来了挑战。总体而言，我们的发现表明，尽管截向矢量在适当的环境下可以发挥作用，但在规模应用中应用截向矢量来指导模型行为仍存在许多技术难题。

Jul, 2024