LucidPPN：用户中心可解释计算机视觉的明确范例部分网络

May, 2024

LucidPPN：用户中心可解释计算机视觉的明确范例部分网络

LucidPPN: Unambiguous Prototypical Parts Network for User-centric Interpretable Computer Vision

Mateusz Pach, Dawid Rymarczyk, Koryna Lewandowska, Jacek Tabor, Bartosz Zieliński

TL;DR使用深度学习与基于案例推理的权力，原型部分网络使决策准确且可解释，通过以训练图像的补丁表示每个原型部分，但单个图像补丁包含多个视觉特征，如颜色、形状和纹理，使用户难以确定模型重要的特征。为减少此模糊性，引入了 Lucid Prototypical Parts Network (LucidPPN), 一种新颖的原型部分网络，将颜色原型与其他视觉特征分离。我们的方法采用两个推理分支：一个用于非颜色视觉特征，处理灰度图像，另一个专注于颜色信息。通过此分离，我们可以澄清模型决策是基于颜色、形状还是纹理。此外，LucidPPN 识别对应于分类对象的语义部分的原型部分，使数据类之间的比较更加直观，例如，当两个鸟类主要在于腹部颜色不同时。我们的实验表明，这两个分支是互补的，并且共同实现了与基准方法相当的结果。更重要的是，LucidPPN 生成的原型部分模糊性较小，增强用户理解。

Abstract

prototypical parts networks combine the power of deep learning with the explainability of case-based reasoning to make accurate, interpretable decisions. They follow the this looks like that reasoning, representi

prototypical parts networks explainability lucidppn visual features ambiguous prototypical parts

发现论文，激发创造

基于像素锚点的原型部件网络

基于原型部件的神经网络（ProtoPartNNs）及其衍生物是一种本质上可解释的机器学习方法。我们提出了 Pixpnet，这是唯一能真正学习和定位于原型对象部分的 ProtoPartNN，通过采用基于位置感受野的架构约束和基于像素的映射，我们实现了可度量的改进可解释性而不牺牲准确性。

Sep, 2023

这像那样：用深度学习进行可解释的图像识别

介绍了 ProtoPNet，一种深度神经网络架构，该模型通过识别图像的原型部分并将原型部分的证据结合起来，类似于鸟类学家、医生和其他人解决图像分类任务的方式，提供了一定程度的可解释性，并在 CUB-200-2011 数据集和 Stanford Cars 数据集上实现了可比较的准确性。

Jun, 2018

看起来比那个更好：使用 ProtoPNeXt 获得更好的可解释模型

使用 ProtoPNeXt 框架，结合贝叶斯超参数调整和角度原型相似度度量，有效提高了原始 ProtoPNet 在 CUB-200 上的准确性，同时优化了原型的可解释性，产生了具有显著改进的模型。

Jun, 2024

可解释图像识别的原型解释

通过量化影响色调、形状、纹理、对比度和饱和度的视觉特征，提高基于原型的图像识别的可解释性。

Nov, 2020

LPN：语言引导原型网络用于小样本分类

本文提出了一种基于语言引导的原型网络 (LPN)，通过引入语言模态和计算视觉特征向量之间的相似性，从而改进了少样本分类任务。实验结果表明，该方法在基准数据集上具有与最先进方法相当的竞争力。

Jul, 2023

鹰眼狐耳：通用零样本学习的部分原型网络

当前的广义零样本学习方法基于单一类别属性向量表示整个图像，这是对新颖类别识别过程的过度简化，因此图像的不同区域可能具有来自不同已见类别的属性并具有不同的主导属性。在此基础上，我们采用一种根本不同的方法：使用对属性信息敏感的预训练视觉语言检测器（VINVL）有效获取区域特征，然后使用学习到的函数将区域特征映射到区域特定属性注意力，并构建类别部件原型。我们在包含 CUB、SUN 和 AWA2 数据集的流行广义零样本学习基准测试中进行实验证明，我们提出的部件原型网络（PPN）与其他流行的基础模型相比取得了有希望的结果。相应的消融研究和分析表明，我们的方法在局部提案可用时具有明显的优势，且非常实用。

Apr, 2024

原型图像分类中补丁可视化的合理性检查和改进

本文深入分析了两种流行的自说明模型 ——ProtoPNet 和 ProtoTree 的可视化方法，并使用细粒度数据集进行了验证。通过删除指标的定量证明，证明了 Smoothgrads 或 PRP 等显著性方法提供了更准确的图像补丁，并提出了一种基于物体分割的相关性度量。本研究对其他使用相同可视化方法的原型模型的影响进行了讨论。

Jan, 2023

利用多种可视化方法阐明典型概念：看起来很像那些

利用原型部件结合深度学习和基于案例的推理，我们提出了 ProtoConcepts 方法，用于解释性图像分类。通过学习可视化的多个图像补丁，我们的方法修改了原型网络的架构，允许更容易识别所捕捉原型的概念，并创建更丰富、更可解释的视觉解释。实验证明，我们的思考过程可以作为一种修改应用在广泛的现有原型图像分类网络上，同时在基准数据集上实现可比较的准确性。

Oct, 2023

使用 PIP-Net 解读和修正医学图像分类

本文探讨了可解释性机器学习在实际医学影像数据自动诊断支持方面的适用性和潜力，尤其是 PIP-Net 原型部分模型，对于骨折检测和皮肤癌诊断的准确性和可解释性进行了评估。

Jul, 2023

用奖励重新加权、重新选择和重新训练提升原型部分网络

通过人类反馈加强训练的模型 (R3-ProtoPNet) 提高解释性，同时保持可理解性，适用于多模型集成提高预测性能。

Jul, 2023