本研究提出了一种称为网络切片的通用框架，通过评估个体隐藏单元与一组语义概念之间的对齐来量化 CNN 的潜在表示的可解释性。该方法使用广泛的视觉概念数据集来评估中间卷积层中隐藏单元的语义。使用该方法测试单元的可解释性是否等同于单元的随机线性组合，然后将其应用于比较训练不同监督和自监督任务的各种网络的潜在表示。进一步分析了训练迭代的效果、比较了不同初始化的网络的效果、检查了网络深度和宽度的影响，并测量了深度视觉表示的可解释性的 dropout 和批标准化的影响。结果表明该方法能够揭示超出 CNN 模型和训练方法辨别能力之外的一些特征。

Apr, 2017

本文综述了解神经网络表示和学习可解释 / 解耦的中间层表示的最新研究进展，并重点介绍了卷积神经网络 (CNNs) 的可视化、诊断、解耦、学习及其在可解释人工智能方面的前景趋势。

Feb, 2018

利用视觉 - 语言模型识别视觉分类任务中的基于语言的描述器，通过在图像和文本之间的预训练联合嵌入空间进行线性组合，得出每个单词与基于视觉的分类器的关联度权重，从而使非专家人员能够以非平凡水平完成专业医学任务。

Nov, 2023

本研究介绍了 Network Dissection 方法，通过为深度视觉表示的单元提供标签来解释网络。该方法量化了 CNN 表示的可解释性，通过评估单个隐藏单元和一组视觉语义概念之间的对齐来识别最佳对齐，认定单位为人类可解释标签。研究发现，深度网络是比预期更加透明和可解释的，并且可用于提供 CNN 对图像的解释预测，以增强其可解释性，这是深度神经网络的重要属性，提供了对其分层结构的新的洞见。

Nov, 2017

通过将概念特征映射到预训练生成模型的潜在空间中，我们提出了一种新方法，以生成高质量的可视化结果并提供直观、交互式的解释方式。我们验证了该方法在可解释预测网络准确性、重构保真度以及概念学习的忠实性和一致性方面的有效性。

Jul, 2024

SegDiscover 是一个无人监督语义分割框架，通过从原始图像生成概念原语、在自监督预训练编码器的潜在空间中进行聚类以及神经网络平滑来发现语义上有意义的视觉概念。实验结果表明，该方法可以在单个图像中发现多个概念，并在包括 Cityscapes 和 COCO-Stuff 等复杂数据集上优于最先进的无监督方法。此方法还可以作为神经网络解释工具使用，通过比较不同编码器得出结果。

Apr, 2022

本文提出了一种新颖的技术，通过利用人类描述中蕴含的丰富语义信息来提高深度神经网络的可解释性，特别是在视频字幕任务中，通过一个可解释损失将人类描述中的一组语义相关主题集成到模型中，并提出了一种预测差异最大化算法来解释每个神经元的学习特征。实验结果表明这种方法在视频字幕和视频动作识别方面非常有效。

Mar, 2017

本研究训练了一个视觉模型，使用基于文本的特征表征图像，以达到在图像分类方面有效且具有可解释性的成果，进一步探讨了训练过程中遇到的挑战。

Jun, 2023

本文提出了一种基于无监督学习、从神经科学中获得灵感的方法，利用变分自编码器对图像数据进行学习，从而获得解耦表示。该方法可以使神经科学的研究成果得以应用到实际中，同时还有零样本推理和直观理解的优点。

Jun, 2016

图像相似度的量化是图像机器学习的一个关键版权问题。本文提出了一种基于概念相似性的图像相似度度量方法，通过生成逐渐复杂的图像描述来衡量相似度，该方法在图像对比和文本对比中表现优于现有基准，并通过指示差异描述粒度提供了解释性。

Feb, 2024