本文提出了一个新颖的框架 ConceptX，利用聚类发现预训练语言模型中编码的潜在概念，并通过与大量人类定义的概念进行对齐进行解释。它在七个变压器语言模型上的分析揭示了有趣的见解：i）学习表示中的潜在空间以不同的程度与不同的语言概念重叠，ii）模型中的较低层由词汇概念（例如，词缀）主导，而核心语言概念（例如，形态或句法关系）在中高层中更好地表示，iii）一些编码的概念具有多面性，无法用现有的人类定义概念充分说明。

Jun, 2022

NxPlain 是一个通过深度学习模型中的潜在概念来解释和调试模型预测的 Web 应用程序。用户可以通过全局语料库和本地句子级视图浏览有用的潜在概念，特别适用于消除模型偏差和突显混杂关联。

Mar, 2023

通过利用 GPT-4 的领域知识和常识能力，我们探索了大型语言模型在图像分类特定环境中生成高级概念作为人类解释的潜力，并通过人类研究评估了其有效性。

Apr, 2024

本文提出一种将解释生成模块附加在基础网络之上、共同训练整个模块的自我解释深度学习模型，适用于无监督概念学习，能够生成有关概念的有意义的解释，并且在概念监督方面有一定的可塑性，具有更好的性能表现。通过在多个数据集上的实验，证明该模型比最近提出的基于概念解释的模型表现更好。

Aug, 2021

通过引入潜在概念归因方法（LACOAT），该研究针对深度学习模型的预测提供了基于潜在概念的解释，解决了由于词语离散性和缺乏语境信息而导致的以往解释的不充分问题。

Apr, 2024

使用语言模型将从文本中提取的新概念插入本体的任务中，我们探索了一种三步骤的方法：边缘搜索，边缘形成和丰富，边缘选择。在所有步骤中，我们提出利用神经方法，其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索，并采用基于 BERT 微调的多标签边缘交叉编码器以及 GPT 系列、FLAN-T5 和 Llama 2 等大型语言模型进行边缘选择。我们评估了使用 SNOMED CT 本体和 MedMentions 实体链接基准创建的最新数据集上的方法。我们框架中的最佳设置使用了经过微调的预训练语言模型进行搜索，以及用于选择的多标签边缘交叉编码器。LLMs 的零 - shot 提示对于该任务仍然不足，因此我们提出了 LLMs 可解释指令调整以改进性能。我们的研究展示了预训练语言模型的优势，并突出了鼓舞人心的 LLMs 性能，这激发了未来的研究。

Feb, 2024

本研究提出了 COPEN，作为探查预训练语言模型概念知识的评估基准，并通过三项任务对 PLMs 的概念知识进行综合评估，结果表明现有的 PLMs 系统性缺乏概念知识并受到各种虚假相关性的影响。

Nov, 2022

通过从大型预训练的视觉语言模型中提取和训练一组概念编码器，我们的目标是学习一种以语言为导向的视觉概念表示，以重现输入图像，并通过遵循一组与视觉相关的概念轴从新的测试图像中提取概念嵌入，从而生成具有视觉概念新组合的图像。

Dec, 2023

此文探讨深度神经网络模型中学习的潜在观念，以及与传统的语言学层次的对比分析，并发现存在偏见的潜在观念并提供数据集（BCN）支持这些结论。

May, 2022

在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。

Nov, 2023