利用 Kendall 排名相关性与余弦相似性之间的关系进行归属保护
本文提出新的思路,通过特征归因归一化改进局部梯度,提出了 L2 范数和余弦距离的规范化不变的损失函数作为正则化项,在 CIFAR-10 和 ImageNet-100 上实验表明该方法大大提高了解释的鲁棒性。
Nov, 2022
本文介绍了一种名为集成梯度相关性(IGC)的新方法,它将数据集属性与模型预测得分相关联,并通过与相关组件的直接求和实现区域特定分析。在脑部 fMRI 神经信号的图像特征表示以及神经人口感受野(NSD 数据集)的估计以及手写数字识别(MNIST 数据集)的研究中,我们演示了我们的方法。得出的 IGC 属性显示出选择性模式,揭示了与各自目标一致的潜在模型策略。
Apr, 2024
提出了一种使用均匀平滑技术的认证方法,通过在一定空间内均匀采样的噪音增加基础归因结果,确保在攻击区域内所有扰动的样本均匀平滑归因与未扰动样本之间的余弦相似度被保证为下界,从而防止归因受到攻击。
May, 2024
在少样本学习中,我们证明了特征通道的重要性排名是比几何相似度度量更可靠的指标,并且使用肯德尔排名相关性来替代几何相似度度量在推理过程中能够显著提高少样本学习的性能。
Jul, 2023
该文章提出了一种用于改善深度神经网络中当前解释工具易受攻击的局限性的正则化方法(包括 Lipschitz 连续性的条件)和随机平滑技术,并在各种图像模型上进行实验以验证其效果和证明平滑几何在这些对真实大规模模型的攻击中所起的作用。
Jun, 2020
通过公理归因神经网络的视角,我们提出了经典鲁棒优化模型的训练目标,旨在实现鲁棒的集成梯度归因。实验结果表明了我们方法的有效性,并表明需要更好的优化技术或更好的神经网络架构来进行鲁棒的归因训练。
May, 2019
本研究提出了一种训练方法(ART),能够减小图像空间相关性对模型解释鲁棒性的影响,并在多个标准数据集上显著提高了解释鲁棒性,并且在弱监督目标定位任务上实现了新的最佳性能。
Nov, 2019
本研究比较了常见文本向量表示方法中余弦相似度和皮尔逊相关系数等相似度计算方法的优缺点及其适用范围,并提出使用非参数秩相关系数作为相似度计算方法,以提高语义文本相似性任务的性能表现。
May, 2019
我们展示了在两种未被充分探索的情况下,两点之间的余弦相似度的梯度趋近于零:(1)如果一个点的幅度很大,或者(2)如果这两个点位于潜在空间的两端。令人意想不到的是,我们证明,优化点之间的余弦相似度会导致它们的幅度增加。因此,(1)在实践中是不可避免的。然后,我们观察到这些推导非常通用,适用于深度学习架构和许多标准的自监督学习(SSL)损失函数。这引导我们提出切割初始化(cut-initialization):一种对网络初始化进行简单更改的方法,有助于所有研究的自监督学习方法更快地收敛。
Jun, 2024