基于像素锚点的原型部件网络
使用 ProtoPNeXt 框架,结合贝叶斯超参数调整和角度原型相似度度量,有效提高了原始 ProtoPNet 在 CUB-200 上的准确性,同时优化了原型的可解释性,产生了具有显著改进的模型。
Jun, 2024
介绍了 ProtoPNet,一种深度神经网络架构,该模型通过识别图像的原型部分并将原型部分的证据结合起来,类似于鸟类学家、医生和其他人解决图像分类任务的方式,提供了一定程度的可解释性,并在 CUB-200-2011 数据集和 Stanford Cars 数据集上实现了可比较的准确性。
Jun, 2018
本文针对 prototypical part network 在 vision transformer 上的应用存在的 “干扰” 问题,提出了 prototypical part transformer 方法,引入全局和局部原型来捕捉和突出目标的代表性整体和部分特征,并通过显式监督控制局部原型,从而提高整体的可解释性与表现。
Aug, 2022
使用深度学习与基于案例推理的权力,原型部分网络使决策准确且可解释,通过以训练图像的补丁表示每个原型部分,但单个图像补丁包含多个视觉特征,如颜色、形状和纹理,使用户难以确定模型重要的特征。为减少此模糊性,引入了 Lucid Prototypical Parts Network (LucidPPN), 一种新颖的原型部分网络,将颜色原型与其他视觉特征分离。我们的方法采用两个推理分支:一个用于非颜色视觉特征,处理灰度图像,另一个专注于颜色信息。通过此分离,我们可以澄清模型决策是基于颜色、形状还是纹理。此外,LucidPPN 识别对应于分类对象的语义部分的原型部分,使数据类之间的比较更加直观,例如,当两个鸟类主要在于腹部颜色不同时。我们的实验表明,这两个分支是互补的,并且共同实现了与基准方法相当的结果。更重要的是,LucidPPN 生成的原型部分模糊性较小,增强用户理解。
May, 2024
这篇论文提出了 ProtoArgNet,这是一种新颖的可解释的深度神经网络架构,用于图像分类,例如 ProtoPNet 中的原型部分学习。ProtoArgNet 使用超级原型,将原型部分组合成单一的原型类表示。此外,ProtoArgNet 采用多层感知器提高准确性,并依赖基于一种论证形式的可解释的阅读方式。ProtoArgNet 可以通过多层感知器 / 论证组件的稀疏化过程适应用户的认知需求。与其他原型部分学习方法不同,ProtoArgNet 可以识别图像中不同区域的不同原型部分之间的空间关系,类似于 CNN 在较早的层中捕捉到的模式之间的关系。
Nov, 2023
Deformable ProtoPNet 是一种结合了深度学习和基于案例推理的可解释图片分类器。该模型通过与训练中学习到的原型进行比较来对输入图像进行分类,同时提供 “这看起来像那个” 的解释。与之前的方法不同的是,我们通过提出空间灵活的原型来解决空间固定原型的缺陷。每个原型由几个典型的部分组成,这些部分根据输入图像自适应地改变它们的相对空间位置。相比其他使用原型的基于案例的可解释模型,我们的方法在准确度和提供的解释的丰富性方面均达到了最新水平。
Nov, 2021
通过引入原型局部特征作为对象检测的扩展,该论文介绍了一种解释和可视化检测变换器行为的方法,该方法能对模型关注的图像位置进行突出显示,并提供模型关注的语义内容的有限洞察力。
Feb, 2024
医学成像中的自动诊断与人工智能已成为一个有前途的领域,但通过提出 Multi-scale Attentive Prototypical part Network (MAProtoNet) 来提供更精确的归因地图,以解决深度神经网络可解释性问题。
Apr, 2024
本文深入分析了两种流行的自说明模型 ——ProtoPNet 和 ProtoTree 的可视化方法,并使用细粒度数据集进行了验证。通过删除指标的定量证明,证明了 Smoothgrads 或 PRP 等显著性方法提供了更准确的图像补丁,并提出了一种基于物体分割的相关性度量。本研究对其他使用相同可视化方法的原型模型的影响进行了讨论。
Jan, 2023