本文提出了 CLIP-Dissect 技术，通过利用新型视觉 / 语言模型对隐藏神经元进行无需标记的开放式概念标记来描述其功能，从而实现对视觉网络内部神经元进行自动化描述。本方法不仅更准确地描述了最后一层具有可参照标准的神经元，而且对隐藏层神经元也提供了质量上好的描述。此外，本方法计算效率高，能在很短时间内标记多层神经元。

Apr, 2022

这项研究工作旨在通过多模态视觉 - 文本模型和基于线性单元之间的随机局部竞争的网络层，提出了一种框架，以更容易地发现视觉任务网络中每个神经元的个体功能，并生成描述性文本以解释网络的决策过程。

Oct, 2023

通过研究神经元来解释深度神经网络并生成语义解释，以解决目前在此方面的限制、缺乏可伸缩性和适用性的问题。

Oct, 2023

利用多模态大型语言模型进行自动和无限的概念发现，既可以发现概念，又可以验证它们，为解释深度神经网络提供可信的自动化工具。

Jun, 2024

该研究提出了一种名为 MILAN 的程序，通过相互信息引导的语言注释对神经元进行自动标记，并可以生成细粒度的描述，以促进对神经网络的理解、分析和控制，并提供了自然语言神经元描述的三个应用实例。

Jan, 2022

本研究提出了一种称为网络切片的通用框架，通过评估个体隐藏单元与一组语义概念之间的对齐来量化 CNN 的潜在表示的可解释性。该方法使用广泛的视觉概念数据集来评估中间卷积层中隐藏单元的语义。使用该方法测试单元的可解释性是否等同于单元的随机线性组合，然后将其应用于比较训练不同监督和自监督任务的各种网络的潜在表示。进一步分析了训练迭代的效果、比较了不同初始化的网络的效果、检查了网络深度和宽度的影响，并测量了深度视觉表示的可解释性的 dropout 和批标准化的影响。结果表明该方法能够揭示超出 CNN 模型和训练方法辨别能力之外的一些特征。

Apr, 2017

本研究介绍了 Network Dissection 方法，通过为深度视觉表示的单元提供标签来解释网络。该方法量化了 CNN 表示的可解释性，通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐，认定单位为人类可解释标签。研究发现，深度网络是比预期更加透明和可解释的，并且可用于提供 CNN 对图像的解释预测，以增强其可解释性，这是深度神经网络的重要属性，提供了对其分层结构的新的洞见。

Nov, 2017

使用 BERT 为例，本文提出了一种新颖且可扩展的框架，将文本描述与神经元联系起来，并通过生成式语言模型发现数据特定的可解释描述符，用于解释编码这些描述符的神经元。实验证明，该方法在识别神经元方面达到了 75% 的 2 阶精度和 50% 的 2 阶回想率。

Jan, 2024

本文提出了一种新颖的技术，通过利用人类描述中蕴含的丰富语义信息来提高深度神经网络的可解释性，特别是在视频字幕任务中，通过一个可解释损失将人类描述中的一组语义相关主题集成到模型中，并提出了一种预测差异最大化算法来解释每个神经元的学习特征。实验结果表明这种方法在视频字幕和视频动作识别方面非常有效。

Mar, 2017

本文介绍了一个分析框架 —— 网络分解，通过该框架系统地识别图像分类和图像生成网络中单个隐藏单元的语义，作者使用该框架分析卷积神经网络和生成对抗网络模型并应用于理解对抗攻击和语义图像编辑。

Sep, 2020