ICMLMay, 2024

流形综合梯度：特征归因的黎曼几何

PDF
TL;DR通过适应路径影响力的方法，了解了集成梯度（IG）在黑盒深度学习模型中存在的可靠性问题，主要是生成针对视觉模型的嘈杂特征可视化和对敌对归属攻击的脆弱性。我们的实验使用深度生成模型应用于多个真实图像数据集，证明了 IG 沿测地线符合黎曼数据流形的曲线几何性质，生成更具感知直观性的解释，从而大大增加了针对归属攻击的鲁棒性。
reliabilityintegrated gradientsfeature attribution methodvulnerabilityadversarial attacks
发现论文，激发创造
  • IG2：特征归因的迭代梯度路径上的综合梯度

    特征归因方法 IG2 整合了梯度的正常输出和反事实输出，提高了特征归因的准确性，并证明在多个领域取得了优于现有技术的结果。

    Jun, 2024

  • 引导式集成梯度：一种用于去除噪声的自适应路径方法

    本文提出了自适应路径方法（APM）以及其特例 Guided IG 方法，通过调整归因路径本身（而非仅减少结果中的噪声）来解决在视觉模型上应用 Integrated Gradients 方法产生噪声像素归因的问题，并实验证明其在几乎所有实验中优于其他相关方法，可以创建与模型预测和图像输入更加一致的显著性地图。

    Jun, 2021

  • 集成梯度归因方法的四个公理特征

    本研究介绍了一种称为 Integrated Gradients 方法的基线归因方法和其四个公理特征，用以揭示神经网络及其他机器学习模型的内部工作机制。

    Jun, 2023

  • 用离散化的综合梯度来解释语言模型

    本文针对 Integrated Gradients 在文本数据中由于词嵌入空间的固有离散性导致插值点不够具有代表性的问题，提出了基于离散化插值策略的 Discretized Integrated Gradients 方法，与 Integrated Gradients 方法相比，本方法计算出的梯度更符合实际情况，有效性得到了实验和人工评估的验证。

    Aug, 2021

  • 集成决策梯度：在模型做出决策的地方计算您的属性

    本研究提出了一种新的归因算法 (IDG) 用于神经网络模型的解释，该算法实现了通过将梯度积分到模型决策区域来解决饱和问题，该算法在 ImageNet 上进行的评估表明 IDG 在三个常见模型中以标准插入和删除度量标准在质量和量化上都优于 IG、left-IG、guided IG 和敌对梯度积分。

    May, 2023

  • 几何引导式的整合梯度

    本文提出了一种基于深度神经网络模型参数空间局部几何性质的解释性方法 —— 几何引导的积分梯度法，在主观和量化评价方面表现优于传统的积分梯度法和总体梯度法，并提出了 “模型扰动” 的健全性检查，以补充传统的 “模型随机化” 测试。

    Jun, 2022

  • 平滑几何用于鲁棒归因

    该文章提出了一种用于改善深度神经网络中当前解释工具易受攻击的局限性的正则化方法（包括 Lipschitz 连续性的条件）和随机平滑技术，并在各种图像模型上进行实验以验证其效果和证明平滑几何在这些对真实大规模模型的攻击中所起的作用。

    Jun, 2020

  • 深度生成模型的黎曼几何

    研究了深度生成模型所学习的流形的黎曼几何，并提出了计算测地线和沿流形路径平行传递切向量的算法，发现这些模型学习的流形近似于零曲率，并探讨了这种现象的实际影响。

    Nov, 2017

  • 流形上的投影梯度下降算法

    本文提供了一种可计算、直接且数学严谨的方法，用于近似高维数据的类流形的微分几何，以及从输入空间到这些类流形的非线性投影。该方法应用于神经网络图像分类器的设置中，在流形上生成新颖的数据样本，并实现了流形上的对抗训练的投影梯度下降算法，以解决神经网络对对抗性攻击的敏感性问题。

    Aug, 2023

  • 广义集成梯度：解释多元集成的实用方法

    本文介绍了广义整合梯度（GIG），是解释 ML 预测模型的输入变量的方法，并且相较于其他方法有很好的特性，适用于各种实际应用，特别是金融领域。我们证明了在合理的公理下，GIG 是解释混合型模型或游戏的唯一正确方法。

    Sep, 2019