Oct, 2023

利用多种可视化方法阐明典型概念：看起来很像那些

PDF
TL;DR利用原型部件结合深度学习和基于案例的推理，我们提出了 ProtoConcepts 方法，用于解释性图像分类。通过学习可视化的多个图像补丁，我们的方法修改了原型网络的架构，允许更容易识别所捕捉原型的概念，并创建更丰富、更可解释的视觉解释。实验证明，我们的思考过程可以作为一种修改应用在广泛的现有原型图像分类网络上，同时在基准数据集上实现可比较的准确性。
发现论文，激发创造
  • 可解释图像识别的原型解释

    通过量化影响色调、形状、纹理、对比度和饱和度的视觉特征，提高基于原型的图像识别的可解释性。

    Nov, 2020

  • 这像那样：用深度学习进行可解释的图像识别

    介绍了 ProtoPNet，一种深度神经网络架构，该模型通过识别图像的原型部分并将原型部分的证据结合起来，类似于鸟类学家、医生和其他人解决图像分类任务的方式，提供了一定程度的可解释性，并在 CUB-200-2011 数据集和 Stanford Cars 数据集上实现了可比较的准确性。

    Jun, 2018

  • 典型先验：从提高分类到零样本学习

    使用视觉原型概念作为侧面信息，通过将深度网络的输入图像映射到原型嵌入空间，实现对交通标志和商标标志等数据集的图像识别性能的提升，并能够有效地应对零样本学习的情景，从而实现对已知和未知类的统一测试以及在这两个数据集上超越某些最新零样本学习方法。

    Dec, 2015

  • 潜在空间原型可解释性在深度神经网络中的局限性

    本文指出了原型学习中存在的一个重要缺陷：潜在空间中的相似性与输入空间中的相似性之间存在语义差距，这可能会损害可解释性。通过设计两个实验，我们在 ProtoPNet 上阐明了这个问题，并表明从业人员在实践中部署基于原型模型时应该考虑到这个缺陷。

    May, 2021

  • LucidPPN：用户中心可解释计算机视觉的明确范例部分网络

    使用深度学习与基于案例推理的权力，原型部分网络使决策准确且可解释，通过以训练图像的补丁表示每个原型部分，但单个图像补丁包含多个视觉特征，如颜色、形状和纹理，使用户难以确定模型重要的特征。为减少此模糊性，引入了 Lucid Prototypical Parts Network (LucidPPN), 一种新颖的原型部分网络，将颜色原型与其他视觉特征分离。我们的方法采用两个推理分支：一个用于非颜色视觉特征，处理灰度图像，另一个专注于颜色信息。通过此分离，我们可以澄清模型决策是基于颜色、形状还是纹理。此外，LucidPPN 识别对应于分类对象的语义部分的原型部分，使数据类之间的比较更加直观，例如，当两个鸟类主要在于腹部颜色不同时。我们的实验表明，这两个分支是互补的，并且共同实现了与基准方法相当的结果。更重要的是，LucidPPN 生成的原型部分模糊性较小，增强用户理解。

    May, 2024

  • ProtoS-ViT：稀疏自解释分类的视觉基础模型

    冷冻预训练的 ViT 后骨干能有效地转化为示范性模型，提高模型的准确性、简洁性和可解释性，通过一系列定量和定性指标评估模型可解释性。

    Jun, 2024

  • 深度学习用于可解释的自然语言处理

    利用原型学习方法和自然语言处理，我们提出了一种学习加权相似度度量的方法，增强了相似度计算，并提出了一个可提取预测相关单词的解释机制来改进预测性能和解释质量。

    Oct, 2023

  • Proto2Proto：你能像我一样识别汽车吗？

    该论文提出了一种新的方法 Proto2Proto 来通过知识蒸馏将一个基于原型的模型的可解释性传递到另一个模型中，探究模型之间的可解释性传递。该方法有两个新的 loss：全局解释 loss 和 Patch-Prototype Correspondence loss，并提出了三个新的度量来评估模型的可解释性传递。实验结果表明该方法有效实现了模型之间的可解释性传递，并显示出具有竞争性的性能。

    Apr, 2022

  • 样本生成：数据无关的鲁棒特征可视化

    我们介绍了原型生成，一种更严格和更健壮的特征可视化方法，用于针对模型不可知、数据独立的图像分类模型的解释性。我们展示了其生成能力，可以产生自然激活路径，从而反驳以往特征可视化算法由于不自然的内部激活而不可信的说法。我们通过定量测量生成的原型和自然图像的内部激活之间的相似性来支持这些说法。我们还展示了如何解释生成的原型所产生的重要见解，突出模型学习到的虚假相关性和偏见，这是定量方法在测试集上无法识别的。

    Sep, 2023

  • 看起来比那个更好：使用 ProtoPNeXt 获得更好的可解释模型

    使用 ProtoPNeXt 框架，结合贝叶斯超参数调整和角度原型相似度度量，有效提高了原始 ProtoPNet 在 CUB-200 上的准确性，同时优化了原型的可解释性，产生了具有显著改进的模型。

    Jun, 2024