基于原型的图像分类中的补丁可视化的合理性检查
本文深入分析了两种流行的自说明模型 ——ProtoPNet 和 ProtoTree 的可视化方法,并使用细粒度数据集进行了验证。通过删除指标的定量证明,证明了 Smoothgrads 或 PRP 等显著性方法提供了更准确的图像补丁,并提出了一种基于物体分割的相关性度量。本研究对其他使用相同可视化方法的原型模型的影响进行了讨论。
Jan, 2023
本论文研究了少样本学习(FSL)的实际问题,通过利用充足的正常样本,提出了 PatchProto 网络用于少样本异常分类。与传统方法不同,PatchProto 网络仅提取感兴趣区域的缺陷 CNN 特征,并将其作为少样本学习的原型。实验结果显示 PatchProto 网络显著提高了少样本异常分类的准确性。
Oct, 2023
利用原型部件结合深度学习和基于案例的推理,我们提出了 ProtoConcepts 方法,用于解释性图像分类。通过学习可视化的多个图像补丁,我们的方法修改了原型网络的架构,允许更容易识别所捕捉原型的概念,并创建更丰富、更可解释的视觉解释。实验证明,我们的思考过程可以作为一种修改应用在广泛的现有原型图像分类网络上,同时在基准数据集上实现可比较的准确性。
Oct, 2023
基于原型部件的神经网络(ProtoPartNNs)及其衍生物是一种本质上可解释的机器学习方法。我们提出了 Pixpnet,这是唯一能真正学习和定位于原型对象部分的 ProtoPartNN,通过采用基于位置感受野的架构约束和基于像素的映射,我们实现了可度量的改进可解释性而不牺牲准确性。
Sep, 2023
介绍了 ProtoPNet,一种深度神经网络架构,该模型通过识别图像的原型部分并将原型部分的证据结合起来,类似于鸟类学家、医生和其他人解决图像分类任务的方式,提供了一定程度的可解释性,并在 CUB-200-2011 数据集和 Stanford Cars 数据集上实现了可比较的准确性。
Jun, 2018
ProtoAD 是一种基于原型的神经网络,用于图像异常检测和定位,通过提取正常图像的补丁特征,并通过非参数聚类学习正常补丁特征的原型,构建了图像异常定位网络 ProtoAD,无需训练阶段即可进行端到端的异常检测和定位。
Oct, 2023
我们介绍了原型生成,一种更严格和更健壮的特征可视化方法,用于针对模型不可知、数据独立的图像分类模型的解释性。我们展示了其生成能力,可以产生自然激活路径,从而反驳以往特征可视化算法由于不自然的内部激活而不可信的说法。我们通过定量测量生成的原型和自然图像的内部激活之间的相似性来支持这些说法。我们还展示了如何解释生成的原型所产生的重要见解,突出模型学习到的虚假相关性和偏见,这是定量方法在测试集上无法识别的。
Sep, 2023
本研究提出了神经原型树(ProtoTree)方法,将原型学习与决策树相结合,从而通过设计在全局上产生可解释的模型。此外, ProtoTree 可以通过在树中勾勒一个决策路径来在本地解释单个预测并通过集成方法、修剪和二值化调整准确性与可解释性的权衡。
Dec, 2020
利用 Vision Transformer 结合 Derandomized Smoothing 进行逐步平滑的图像建模任务来训练并提高证明补丁防御机制的可证准确性,同时重构了原始的 ViT 的全局自注意结构以适用于在实际世界中的高效推理和部署。在 ImageNet 数据集上,在 2% 区域补丁攻击下,本文方法达到 41.70% 的证明准确度,比之前最佳方法高出近 1 倍(26.00%)。同时,本方法达到了 78.58% 的干净准确度,接近正常 ResNet-101 的准确度,并在 CIFAR-10 和 ImageNet 上实现最先进的干净和证明准确度。
Mar, 2022