通过局部梯度对齐实现更强健的解释性

AAAINov, 2022

通过局部梯度对齐实现更强健的解释性

Towards More Robust Interpretation via Local Gradient Alignment

Sunghwan Joo, Seokhyeon Jeong, Juyeon Heo, Adrian Weller, Taesup Moon

TL;DR本文提出新的思路，通过特征归因归一化改进局部梯度，提出了 L2 范数和余弦距离的规范化不变的损失函数作为正则化项，在 CIFAR-10 和 ImageNet-100 上实验表明该方法大大提高了解释的鲁棒性。

Abstract

neural network interpretation methods, particularly feature attribution methods, are known to be fragile with respect to adversarial input perturbations. To address this, several methods for enhancing the local smoothness of the gradient while training have been proposed for attaining

neural network interpretation feature attribution methods robustness gradient normalization regularization

发现论文，激发创造

平滑几何用于鲁棒归因

该文章提出了一种用于改善深度神经网络中当前解释工具易受攻击的局限性的正则化方法（包括 Lipschitz 连续性的条件）和随机平滑技术，并在各种图像模型上进行实验以验证其效果和证明平滑几何在这些对真实大规模模型的攻击中所起的作用。

Jun, 2020

通过均匀平滑化的归因实现经过认证的 L2 鲁棒性

提出了一种使用均匀平滑技术的认证方法，通过在一定空间内均匀采样的噪音增加基础归因结果，确保在攻击区域内所有扰动的样本均匀平滑归因与未扰动样本之间的余弦相似度被保证为下界，从而防止归因受到攻击。

May, 2024

使用输入 - 梯度空间对齐进行属性鲁棒性训练

本研究提出了一种训练方法（ART），能够减小图像空间相关性对模型解释鲁棒性的影响，并在多个标准数据集上显著提高了解释鲁棒性，并且在弱监督目标定位任务上实现了新的最佳性能。

Nov, 2019

流形综合梯度：特征归因的黎曼几何

通过适应路径影响力的方法，了解了集成梯度（IG）在黑盒深度学习模型中存在的可靠性问题，主要是生成针对视觉模型的嘈杂特征可视化和对敌对归属攻击的脆弱性。我们的实验使用深度生成模型应用于多个真实图像数据集，证明了 IG 沿测地线符合黎曼数据流形的曲线几何性质，生成更具感知直观性的解释，从而大大增加了针对归属攻击的鲁棒性。

May, 2024

鲁棒归因正则化

通过公理归因神经网络的视角，我们提出了经典鲁棒优化模型的训练目标，旨在实现鲁棒的集成梯度归因。实验结果表明了我们方法的有效性，并表明需要更好的优化技术或更好的神经网络架构来进行鲁棒的归因训练。

May, 2019

利用 Kendall 排名相关性与余弦相似性之间的关系进行归属保护

本文提出了积分梯度正则化 (IGR) 方法，可以通过最大化自然和扰动归因之间的余弦相似度来获得健壮的模型归因，从而提高模型的对抗性稳健性。在不同模型和数据集上的实验验证了我们的分析结果。

May, 2022

增强型正则化方法用于权责稳健性

该研究论文旨在提出一种强健的归因训练策略来提高深度神经网络的归因鲁棒性，针对近年来的研究表明，尽管这些模型被给予两张非常相似的图像，但其产生的归因图可能会有很大的不同，从而引发了对其可信度的质疑。这个方法通过引入保护模型归因图免受攻击的两个新的正则器来提高归因鲁棒性，并在多个数据集上超越了最先进的归因鲁棒性方法。

Dec, 2020

几何引导式的整合梯度

本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

Jun, 2022

NormFace：L2 超球面嵌入在面部验证中的应用

该研究基于对归一化进行数学分析，提出了两种新策略，分别是优化余弦相似度的 Softmax 损失函数的修改和为每个类引入代理向量的度量学习的重构。这两种策略分别提高了 0.2％到 0.4％的性能。

Apr, 2017

解耦方向和范数的梯度下降 L2 对抗攻击与防御

本文研究计算机视觉任务中对抗样本的影响，提出一种基于梯度的对抗攻击方法，通过将对抗扰动的方向和范数分离，能够在较少迭代次数（仅 100 次）内达到与当前最先进攻击方法在 L2 范数上相当的结果，进而达到对于白盒梯度攻击的鲁棒性。

Nov, 2018