Jan, 2023

原型图像分类中补丁可视化的合理性检查和改进

PDF
TL;DR本文深入分析了两种流行的自说明模型 ——ProtoPNet 和 ProtoTree 的可视化方法，并使用细粒度数据集进行了验证。通过删除指标的定量证明，证明了 Smoothgrads 或 PRP 等显著性方法提供了更准确的图像补丁，并提出了一种基于物体分割的相关性度量。本研究对其他使用相同可视化方法的原型模型的影响进行了讨论。
visualisation methodsself-explaining modelsprototype-based modelssaliency methodsobject segmentation
发现论文，激发创造
  • 基于原型的图像分类中的补丁可视化的合理性检查

    通过对 ProtoPNet 和 ProtoTree 中实现的可视化方法进行分析，我们发现这些方法无法正确地识别图像中的感兴趣区域，从而无法反映模型的行为，这可能导致对模型存在偏见的错误观念。我们还定量地证明，通过使用其他提供更准确图像补丁的显著性方法，可以缓解这个问题。

    Oct, 2023

  • 基于像素锚点的原型部件网络

    基于原型部件的神经网络（ProtoPartNNs）及其衍生物是一种本质上可解释的机器学习方法。我们提出了 Pixpnet，这是唯一能真正学习和定位于原型对象部分的 ProtoPartNN，通过采用基于位置感受野的架构约束和基于像素的映射，我们实现了可度量的改进可解释性而不牺牲准确性。

    Sep, 2023

  • 这像那样：用深度学习进行可解释的图像识别

    介绍了 ProtoPNet，一种深度神经网络架构，该模型通过识别图像的原型部分并将原型部分的证据结合起来，类似于鸟类学家、医生和其他人解决图像分类任务的方式，提供了一定程度的可解释性，并在 CUB-200-2011 数据集和 Stanford Cars 数据集上实现了可比较的准确性。

    Jun, 2018

  • 用于少样本视觉异常分类的 PatchProto 网络

    本论文研究了少样本学习（FSL）的实际问题，通过利用充足的正常样本，提出了 PatchProto 网络用于少样本异常分类。与传统方法不同，PatchProto 网络仅提取感兴趣区域的缺陷 CNN 特征，并将其作为少样本学习的原型。实验结果显示 PatchProto 网络显著提高了少样本异常分类的准确性。

    Oct, 2023

  • 神经原型树用于可解释的细粒度图像识别

    本研究提出了神经原型树（ProtoTree）方法，将原型学习与决策树相结合，从而通过设计在全局上产生可解释的模型。此外， ProtoTree 可以通过在树中勾勒一个决策路径来在本地解释单个预测并通过集成方法、修剪和二值化调整准确性与可解释性的权衡。

    Dec, 2020

  • 可解释图像识别的原型解释

    通过量化影响色调、形状、纹理、对比度和饱和度的视觉特征，提高基于原型的图像识别的可解释性。

    Nov, 2020

  • 评估隐式可解释性的后解释性

    本文对基于切片图像的乳腺癌转移检测问题，将时下最流行的用于深度神经网络（DNN）可解释性的后置解释方法（Post-hoc）和内置解释方法（Intrinsic）应用于一种新的可解释性 DNN，ProtoPNet，并比较了这两种方法的兴趣图像（Attribution maps）的相似性。结果显示，除 SmoothGrad 和 Occlusion 以外，其他后置方法兴趣图像的重合度很低。

    May, 2023

  • 用奖励重新加权、重新选择和重新训练提升原型部分网络

    通过人类反馈加强训练的模型 (R3-ProtoPNet) 提高解释性，同时保持可理解性，适用于多模型集成提高预测性能。

    Jul, 2023

  • LucidPPN：用户中心可解释计算机视觉的明确范例部分网络

    使用深度学习与基于案例推理的权力，原型部分网络使决策准确且可解释，通过以训练图像的补丁表示每个原型部分，但单个图像补丁包含多个视觉特征，如颜色、形状和纹理，使用户难以确定模型重要的特征。为减少此模糊性，引入了 Lucid Prototypical Parts Network (LucidPPN), 一种新颖的原型部分网络，将颜色原型与其他视觉特征分离。我们的方法采用两个推理分支：一个用于非颜色视觉特征，处理灰度图像，另一个专注于颜色信息。通过此分离，我们可以澄清模型决策是基于颜色、形状还是纹理。此外，LucidPPN 识别对应于分类对象的语义部分的原型部分，使数据类之间的比较更加直观，例如，当两个鸟类主要在于腹部颜色不同时。我们的实验表明，这两个分支是互补的，并且共同实现了与基准方法相当的结果。更重要的是，LucidPPN 生成的原型部分模糊性较小，增强用户理解。

    May, 2024

  • 利用多种可视化方法阐明典型概念：看起来很像那些

    利用原型部件结合深度学习和基于案例的推理，我们提出了 ProtoConcepts 方法，用于解释性图像分类。通过学习可视化的多个图像补丁，我们的方法修改了原型网络的架构，允许更容易识别所捕捉原型的概念，并创建更丰富、更可解释的视觉解释。实验证明，我们的思考过程可以作为一种修改应用在广泛的现有原型图像分类网络上，同时在基准数据集上实现可比较的准确性。

    Oct, 2023